五分鐘技術趣談 | VXLAN隧道及其在“云網關”中的應用

作者：童燁彬，單位：中國移動智慧家庭運營中心

隨著云計算和虛擬化技術的快速發(fā)展，傳統(tǒng)的局域網已經無法滿足數(shù)據(jù)中心日漸膨脹的網絡需求。VXLAN隧道作為建立在IP網絡上的二層隧道技術，不僅實現(xiàn)了不同地市數(shù)據(jù)中心間的大二層互通，還解決了傳統(tǒng)VLAN網絡租戶數(shù)量不夠的痛點，可容納用戶數(shù)量實現(xiàn)了指數(shù)級的增長。VXLAN隧道也被應用在了中國移動自研的“云網關”架構中。

Part 01●?簡介?●

作為目前傳統(tǒng)數(shù)據(jù)中心網絡的面臨著如下幾個痛點：

? 交換機MAC表限制

虛擬化技術的應用，使目前數(shù)據(jù)中心的服務器上都運行著大量的虛擬機，每個虛擬機都包含至少一個MAC地址，我們知道二層轉發(fā)需要交換機學習MAC地址，這會導致ToR交換機需要學習的MAC表數(shù)量指數(shù)級增長，一旦MAC表溢出，就會造成交換機泛洪，影響轉發(fā)效率[1]；

? 租戶數(shù)量的限制

傳統(tǒng)的數(shù)據(jù)中心內是通過VLAN進行租戶隔離，不同的租戶會被劃分到不同的VLAN中，而VLAN報文中用來表示用戶標識的VID的長度為12位，也就說最多可以容納212-2=4094個租戶（通常0和4095作為保留值），而對于大型的數(shù)據(jù)中心來說，這個數(shù)量的租戶遠遠不夠用，會讓網絡擴展受到限制；

? 虛擬機遷移的限制

數(shù)據(jù)中心會出現(xiàn)服務器的硬件擴容或者機房遷移的情況，此時虛擬機需要被遷移到其他的服務器上來避免對業(yè)務的影響，虛擬機的MAC和IP地址需要保持不變，因此遷移只能發(fā)生在二層網絡內，對業(yè)務的靈活性產生了極大的限制【2】；

為了解決以上數(shù)據(jù)中心的問題，RFC 7348提出了虛擬可擴展局域網的概念，即VXLAN（Virtual eXtensible Local Area Network），將原始的二層報文通過VXLAN隧道頭封裝在IP報文中，使原始報文可以跨二層網絡進行傳輸。

圖1 VXLAN報文結構

上圖為一個標準的VXLAN格式報文，其可以分為三個部分：

1、最外層為VXLAN隧道的底層網絡封裝，用來在VTEP之間傳輸；

2、中間為VXLAN隧道頭部，基于UDP協(xié)議承載；

3、最內層為想要傳輸?shù)脑紙笪膬热荩ㄒ蕴^、IP頭以及報文數(shù)據(jù)，即虛擬機網卡發(fā)送出來的報文；

其中VXLAN頭部長8個字節(jié)，包括以下內容：

VXLAN Flag（8位）：固定取值為00001000；

VNI（24位）：網絡標識符，用來定義不同的租戶；

保留字段：有兩處，分別為24位和8位；

圖2 VXLAN抓包

上圖為VXLAN的抓包，其VNI值為100，基于UDP協(xié)議傳輸，源端口隨機生成，目的端口為4789。

從以上的VXLAN報文格式中可以看出VXLAN隧道是如何解決數(shù)據(jù)中心面臨的3個主要問題的：

1、VXLAN使用UDP進行封裝，UDP外層的MAC為VTEP物理出口的MAC地址，通常一個物理機會對應一個VTEP被該臺機器上所有的虛擬機使用， 這樣對于ToR交換機來說，一臺服務器只需要記錄一條MAC表即可，避免了MAC表暴漲的問題[1]；

2、VNI24位的長度可支持超過1600萬數(shù)量的租戶，網絡中租戶隔離的數(shù)量不會再受到限制，后續(xù)網絡的拓展也變得極其靈活；

3、VXLAN采用MAC in UDP的方式來進行封裝傳輸，對二層網絡進行了延伸，不同地域間的數(shù)據(jù)中心也可通過UNDERLAY三層網絡實現(xiàn)大二層的連接，實現(xiàn)了物理網絡和虛擬網絡的解耦。網絡規(guī)劃不再受物理網絡的限制，可實現(xiàn)虛擬機無損遷移，即IP和MAC地址保持不變[2]。

Part 02●??VXLAN隧道在云網關中的應用?●

圖3 云網關方案架構圖

目前中國移動正在大力推進云網關的研發(fā)和落地，其中一種方案為將云網關作為BRAS后一個網元部署在省側或者地市機房。如圖三所示，該網絡架構使用VXLAN隧道對用戶報文進行接入和終結，即每個白盒網關（ONU）會和云網關之間創(chuàng)建一條VXLAN隧道，分配到唯一的VNI標識，終端的報文在ONU被封裝上VXLAN隧道并轉發(fā)到云網關，云網關對報文解封裝獲取到內層原始報文，根據(jù)報文的類型進行不同的處理，該云網關架構把傳統(tǒng)家庭網關大部分控制面的功能以及增值業(yè)務都上移到了BRAS之后的云網關系統(tǒng)進行統(tǒng)一處理。

簡單來說，在云網關場景下用戶上網過程為：1、白盒網關發(fā)起PPPOE撥號，從BRAS獲取到可上網的IP；

2、以PPPOE撥號獲取的IP作為local IP，以及預先分配好的VNI值，和云網關之間創(chuàng)建VXLAN隧道；

3、用戶終端（如手機、PC等）發(fā)起DHCP請求，在白盒網關封裝上VXLAN隧道轉發(fā)到云網關，VXLAN報文在云網關被解封裝并將原始報文透傳到云網關控制面，DHCP服務器分配一個內網地址給終端，同時將網關、DNS信息等一并發(fā)送回終端；

4、用戶發(fā)起對網關的ARP請求，報文同步驟三一樣被透傳到控制面，網關回應ARP REPLY；

5、終端用戶正常上網（包括DNS），報文到達云網關，通過策略判斷是否訂購了增值業(yè)務：

（5.1）非增值業(yè)務用戶，使用公網IP做NAT，進行公網卸載轉發(fā)；

（5.2）增值業(yè)務用戶，發(fā)送到業(yè)務服務器，根據(jù)具體訂購的業(yè)務進行后續(xù)處理，對報文進行丟棄、加速或者回注等操作；

該方案使用VXLAN隧道進行用戶接入，白盒網關作為VTEP，對上行的原始報文進行VXLAN隧道的封裝，使其可以順利穿越三層網絡到達云網關并解掉封裝進行后續(xù)處理。有如下優(yōu)點：

1、VXLAN隧道天然支持租戶隔離，不同寬帶用戶可以使用VNI進行區(qū)分，而且24位的VNI足夠使用；

2、VXLAN作為二層隧道，相比于如GRE、IPIP等三層隧道，可以將原始的用戶信息完整地上送到云網關，設備的源MAC信息可以用來做增值業(yè)務，如對具體的設備做管控、限速等操作。

Part 03●??VXLAN隧道穿越NAT?●

VXLAN隧道不是傳統(tǒng)C/S模型，VTEP兩端都是監(jiān)聽UDP4789目的端口，而源端口為隨機生成。圖四簡單說明了從用戶白盒網關發(fā)出的VXLAN報文經過BRAS設備的NAT處理后的五元組變化情況，如圖所示，假設家庭網關上行報文封裝的VXLAN源端口為隨機的1234，經過BRAS做SNAT之后變成5678，因為目的端口仍然為4789，云網關可以正常收到并處理；當報文下行時會被封裝上目的4789端口，相應地BRAS需要對其做DNAT，但是BRAS上只存在1234->5678的NAT會話映射，而此時報文的目的端口為4789無法找到正確的NAT會話，因此報文會在BRAS被丟棄，無法支持穿越NAT。

圖4 VXLAN報文經過NAT設備流程

云網關系統(tǒng)的VXLAN隧道進行了如下改造：

1）白盒網關封裝VXLAN報文時源端口和目的端口均固定為4789；

2）云網關記錄上行報文的VNI和源端口的映射關系，在下行報文封裝VXLAN時將記錄的源端口作為目的端口進行封裝。

經過上述改造后，家庭網關封裝VXLAN時將外層UDP的源和目的端口都填充為4789，上行經過BRAS時源端口被SNAT成Y，目的端口保持4789，報文被云網關正常接收和解封裝，此時記錄VNI和源端口信息；報文下行時根據(jù)VNI查詢到源端口信息Y，將其封裝到VXLAN隧道的外層UDP目的端口，經過BRAS時可以找到對應的4789->Y的NAT會話，目的端口被還原成4789，家庭網關可以順利收到并解封裝VXLAN報文。

Part 04●?總結?●

VXLAN隧道作為一個廣泛使用的大二層隧道技術，將物理網絡和虛擬網絡解耦，具有傳統(tǒng)局域網絡不可比的擴展性和靈活性，24位長度的VNI也能完全滿足大量租戶隔離的需求。目前，中國移動智慧家庭運營中心已經完成基于VXLAN隧道架構的云網關自研，并在多省完成試點部署，形成了完整的端到端解決方案。

參考文獻

[1] 什么是 VxLAN，知乎，2023年3月23日，https://zhuanlan.zhihu.com/p/616501757?utm_id=0.

[2]?VXLAN：云計算時代的隧道技術（一），銳捷官網，2022年4月27日，https://www.ruijie.com.cn/jszl/88850/.