VXLAN自2014年引入以來(lái)，已成為現(xiàn)代數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)的重要組成部分。本文回顧了 VXLAN 是什么、為什么需要它、如何在數(shù)據(jù)中心中使用，以及其相較于其他虛擬化技術(shù)的優(yōu)勢(shì)。

編輯搜圖

什么是 VXLAN？

VXLAN (Virtual eXtensible LAN，可擴(kuò)展虛擬局域網(wǎng)絡(luò)) 是一種Internet 標(biāo)準(zhǔn)重疊網(wǎng)絡(luò)虛擬化技術(shù)，它提供了一種在 IP(第 3 層)網(wǎng)絡(luò)上封裝以太網(wǎng)(第 2 層)幀的方法，這一概念通常被稱為“隧道”。

VXLAN技術(shù)將已有的三層網(wǎng)絡(luò)作為Underlay網(wǎng)絡(luò)，在其上構(gòu)建出虛擬的二層網(wǎng)絡(luò)，即Overlay網(wǎng)絡(luò)。Overlay網(wǎng)絡(luò)通過(guò)封裝技術(shù)、利用Underlay網(wǎng)絡(luò)提供的三層轉(zhuǎn)發(fā)路徑，實(shí)現(xiàn)租戶二層報(bào)文跨越三層網(wǎng)絡(luò)在不同站點(diǎn)間傳遞。對(duì)于租戶來(lái)說(shuō)，Underlay網(wǎng)絡(luò)是透明的，同一租戶的不同站點(diǎn)就像工作在一個(gè)局域網(wǎng)中。

雖然 VXLAN 只是眾多虛擬網(wǎng)絡(luò)或隧道技術(shù)中的一種，但它比其他技術(shù)更好地解決了數(shù)據(jù)中心網(wǎng)絡(luò)中的幾個(gè)擴(kuò)展挑戰(zhàn)。由于這些優(yōu)勢(shì)，用于云計(jì)算的現(xiàn)代數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)通常將基于穩(wěn)健路由協(xié)議(例如BGP)的“scale-out”IP (L3) leaf-spine Underlay與基于 VXLAN 的Overlay相結(jié)合，如圖1所示。 

編輯搜圖

圖 1：L3 Underlay和VXLAN Overlay的可擴(kuò)展數(shù)據(jù)中心架構(gòu)

VXLAN 幀格式

下面是 VXLAN 幀格式的簡(jiǎn)化視圖。

圖 2：簡(jiǎn)化的 VXLAN 幀格式

VXLAN 協(xié)議將以太網(wǎng)幀封裝在 VXLAN報(bào)頭中，該報(bào)頭包含一個(gè)VNI (VXLAN 網(wǎng)絡(luò)標(biāo)識(shí)符)，該值用于區(qū)分每個(gè) VXLAN 隧道。由于 VNI 由 24 位組成，因此網(wǎng)絡(luò)中可能的 VNI 數(shù)量超過(guò) 1600 萬(wàn)，與VLAN(虛擬局域網(wǎng)) 技術(shù)相比，提供了重要的可擴(kuò)展性優(yōu)勢(shì)。VXLAN 幀隨后被封裝在IP網(wǎng)絡(luò)上的UDP中，以便它們可以通過(guò)第 3 層網(wǎng)絡(luò)進(jìn)行路由。

VXLAN 隧道端點(diǎn) (VTEP)

封裝和解封裝幀的隧道端點(diǎn)稱為 VTEP(VXLAN Tunnel End Point，VXLAN隧道端點(diǎn))。這種封裝可以在托管虛擬機(jī) (VM) 或容器化應(yīng)用程序的服務(wù)器上完成，也可以在以太網(wǎng)交換機(jī)的網(wǎng)絡(luò)處理器中實(shí)現(xiàn)。圖 2 顯示了基于服務(wù)器和基于交換機(jī)的 VTEP。在該圖中，VXLAN Overlay Fabric連接了基于服務(wù)器和交換機(jī)的 VTEP，并跨越兩個(gè)地理位置分離的數(shù)據(jù)中心，通過(guò)第3層路由廣域網(wǎng)(WAN)或其他數(shù)據(jù)中心互連(DCI)傳輸連接。

圖 3：多站點(diǎn)數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)中的 VXLAN 隧道和 VTEP

基于服務(wù)器的 VTEP 可以支持更多分布式Overlay網(wǎng)絡(luò)服務(wù)，例如用于安全的細(xì)粒度微分段。但是，在軟件中運(yùn)行的基于服務(wù)器的 VTEP 會(huì)使用本應(yīng)由應(yīng)用程序使用的服務(wù)器 CPU 周期。在交換機(jī)中實(shí)現(xiàn)的 VTEP 通常是硬件加速的，因此它們消除了性能瓶頸。

現(xiàn)在有一個(gè)新興的選擇，它將硬件加速的優(yōu)點(diǎn)與高度分布式服務(wù)相結(jié)合：DPU(數(shù)據(jù)處理單元)。DPU是安裝在服務(wù)器中的一種網(wǎng)卡，它集成了強(qiáng)大的數(shù)據(jù)處理芯片來(lái)加速網(wǎng)絡(luò)功能，包括 VXLAN 覆蓋。預(yù)計(jì)將來(lái)會(huì)有更多的高性能數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)將在交換機(jī)和 DPU 中混合使用硬件加速的 VTEP，如圖 3 所示。

VXLAN vs. 其他方案

VXLAN 不是第一個(gè)或唯一的網(wǎng)絡(luò)虛擬化技術(shù)，但與其他數(shù)據(jù)中心網(wǎng)絡(luò)虛擬化替代方案相比，它提供了巨大的優(yōu)勢(shì)。概括來(lái)說(shuō)，VXLAN 最重要的目標(biāo)是：

• 可以使用具有高彈性、高可用性和可預(yù)測(cè)性能的可擴(kuò)展三層架構(gòu)來(lái)構(gòu)建Underlay網(wǎng)絡(luò)。

• 虛擬連接可以在軟件中定義，實(shí)現(xiàn)SDN自動(dòng)化，以提高網(wǎng)絡(luò)運(yùn)營(yíng)的靈活性和效率，并減少人為錯(cuò)誤。

• 虛擬化可以擴(kuò)展到數(shù)百萬(wàn)個(gè)隧道和端點(diǎn)，從而在應(yīng)用程序和租戶之間實(shí)現(xiàn)細(xì)粒度、安全的分段。

當(dāng)與適當(dāng)?shù)目刂破矫婕夹g(shù)和網(wǎng)絡(luò)自動(dòng)化框架相結(jié)合時(shí)，VXLAN 比許多其他虛擬化技術(shù)能更有效地實(shí)現(xiàn)這些目標(biāo)。

VXLAN vs. VLAN

傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)是使用以太網(wǎng)交換機(jī)構(gòu)建的，沒有任何用于虛擬化的Overlay協(xié)議。在這種架構(gòu)中，每臺(tái)交換機(jī)都充當(dāng)以太網(wǎng) MAC 橋接器，并實(shí)現(xiàn)生成樹協(xié)議，以避免網(wǎng)絡(luò)中的環(huán)路。在最簡(jiǎn)單的實(shí)現(xiàn)中，所有設(shè)備和虛擬機(jī)都連接到相同的第二層廣播域。如果需要對(duì)這些網(wǎng)絡(luò)中的應(yīng)用程序或租戶進(jìn)行分段或隔離，則由VLAN提供，由添加到以太網(wǎng)幀報(bào)頭的 12 位 VLAN ID 表示(類似于 VXLAN 虛擬網(wǎng)絡(luò)標(biāo)識(shí)符)。這個(gè)額外的報(bào)頭有時(shí)被稱為“.1Q 標(biāo)簽”，意為IEEE 802.1Q標(biāo)準(zhǔn)。

這種類型的網(wǎng)絡(luò)對(duì)于小規(guī)模的單租戶數(shù)據(jù)中心來(lái)說(shuō)已經(jīng)足夠，但對(duì)于更大規(guī)模的數(shù)據(jù)中心，尤其是多租戶數(shù)據(jù)中心來(lái)說(shuō)，它有很多缺點(diǎn)。由于只有 4000 個(gè)唯一的 VLAN ID 可用，分段選項(xiàng)是有限的。更重要的是，生成樹協(xié)議不太適合橫向擴(kuò)展的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)，因?yàn)樗鼘?duì)冗余鏈路的使用效率低下，而且其彈性遠(yuǎn)低于第三層路由技術(shù)。大型二層網(wǎng)絡(luò)很容易受到廣播風(fēng)暴的影響，這可能會(huì)導(dǎo)致整個(gè)網(wǎng)絡(luò)癱瘓。

VXLAN 標(biāo)準(zhǔn)更詳細(xì)地討論了這些限制，并詳細(xì)說(shuō)明了如何使用VXLAN overlay和三層Underlay來(lái)解決這些問(wèn)題。

VLAN 標(biāo)簽堆疊、Q-in-Q

避免只有 4000 個(gè) VLAN 標(biāo)識(shí)符限制的一種方法是添加第二個(gè) VLAN 標(biāo)記，這種方法稱為標(biāo)記堆疊或“Q-in-Q”(由于使用兩個(gè)“.1Q 標(biāo)簽”)，并在IEEE Provider Bridges標(biāo)準(zhǔn)中。其允許服務(wù)提供商使用外部標(biāo)簽 (S-tag) 在其客戶或租戶之間提供分段或隔離，而內(nèi)部標(biāo)簽 (C-tag) 由客戶使用，因此每個(gè)客戶都可以使用約 4000 個(gè) VLAN，而無(wú)需擔(dān)心其他客戶正在使用什么。

圖 4：簡(jiǎn)化的 QinQ 幀格式

使用兩個(gè)標(biāo)簽可以實(shí)現(xiàn)多達(dá) 1600 萬(wàn)個(gè)不同的組合(比VXLAN的24 位 VNI靈活性稍差)，從而解決了 VLAN 可擴(kuò)展性問(wèn)題。然而，它并沒有解決二層網(wǎng)絡(luò)固有的低效率和低彈性的問(wèn)題。

TRILL 和SPB

被稱為“TRILL”和“SPB”的后續(xù)標(biāo)準(zhǔn)試圖通過(guò)借鑒三層鏈路狀態(tài)路由來(lái)解決生成樹的效率和彈性問(wèn)題，特別是廣泛使用的IS-IS路由協(xié)議，它不需要IP網(wǎng)絡(luò)。這些方法有時(shí)被稱為“MAC-in-MAC”，因?yàn)榈诙€(gè)以太網(wǎng) MAC 地址被添加到幀中，用于在啟用 TRILL 或啟用 SPB 的網(wǎng)橋之間進(jìn)行轉(zhuǎn)發(fā)。

這兩個(gè)標(biāo)準(zhǔn)都受到了關(guān)注，并經(jīng)常進(jìn)行比較，但都沒有達(dá)成共識(shí)。它們也有一個(gè)明顯的缺點(diǎn)，那就是需要專門的硬件。

基于 MPLS 的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)

MPLS 二層 VPN (L2VPN) 提供了跨三層網(wǎng)絡(luò)的二層連接，但不是任何三層網(wǎng)絡(luò)都可以，網(wǎng)絡(luò)中的路由器必須都是 IP/MPLS 路由器。虛擬網(wǎng)絡(luò)使用 MPLS 偽線封裝進(jìn)行隔離，并且可以堆疊 MPLS 標(biāo)簽，類似于 VLAN 標(biāo)簽堆疊，以支持大量虛擬網(wǎng)絡(luò)。

IP/MPLS 常用于電信服務(wù)提供商網(wǎng)絡(luò)，因此許多服務(wù)提供商的 L2VPN 服務(wù)都是使用 MPLS 實(shí)現(xiàn)的。其中包括點(diǎn)對(duì)點(diǎn) L2VPN，以及根據(jù)虛擬專用 LAN 服務(wù)(VPLS) 標(biāo)準(zhǔn)實(shí)施的多點(diǎn) L2VPN。這些服務(wù)通常分別符合E-Line(點(diǎn)對(duì)點(diǎn))和 E-LAN(多點(diǎn))的MEF運(yùn)營(yíng)商以太網(wǎng)服務(wù)定義。

由于 MPLS 及其相關(guān)控制平面協(xié)議專為高度可擴(kuò)展的三層服務(wù)提供商網(wǎng)絡(luò)而設(shè)計(jì)，一些數(shù)據(jù)中心運(yùn)營(yíng)商已在其數(shù)據(jù)中心網(wǎng)絡(luò)中使用 MPLS L2VPN 來(lái)克服二層交換網(wǎng)絡(luò)的擴(kuò)展性和彈性限制，如圖 4 所示。

編輯搜圖

圖 5：基于 MPLS 的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)

由于以下幾個(gè)原因，這種方法沒有得到普及：

• 支持 MPLS 的路由器往往比不支持MPLS 的路由器更昂貴，并且比數(shù)據(jù)中心級(jí)第三層交換機(jī)的成本更高。而VXLAN 支持，包括硬件加速的 VTEP 功能，現(xiàn)已廣泛用于 Broadcom 和其他公司的交換芯片，以及基于服務(wù)器的新型 DPU。

• 基于 MPLS 的 VPN 解決方案需要邊緣設(shè)備和核心設(shè)備緊密耦合，因此數(shù)據(jù)中心網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)都必須支持 MPLS。相比之下，VXLAN 僅需要邊緣節(jié)點(diǎn)(例如leaf交換機(jī)或 DPU)中的 VTEP，并且可以使用任何支持 IP 的設(shè)備或 IP 傳輸網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)數(shù)據(jù)中心spine和數(shù)據(jù)中心互連 (DCI)。

• 在大型服務(wù)提供商之外，MPLS 技術(shù)學(xué)習(xí)難度較大，相對(duì)較少的網(wǎng)絡(luò)工程師能夠輕松構(gòu)建和運(yùn)營(yíng)基于 MPLS 的網(wǎng)絡(luò)。而VXLAN相對(duì)簡(jiǎn)單，正在成為數(shù)據(jù)中心網(wǎng)絡(luò)工程師廣泛掌握的基礎(chǔ)技術(shù)。

鑒于以上種種，在數(shù)據(jù)中心網(wǎng)絡(luò)中，VXLAN比MPLS具有壓倒性的優(yōu)勢(shì)。(事實(shí)上，VXLAN 甚至被證明是 MPLS 的可行替代方案，可在某些服務(wù)提供商網(wǎng)絡(luò)中提供運(yùn)營(yíng)商以太網(wǎng)服務(wù)。)

VXLAN vs. 其他Overlay 協(xié)議

VXLAN 并不是第一次嘗試定義能夠跨純?nèi)龑覷nderlay網(wǎng)絡(luò)擴(kuò)展二層服務(wù)的Overlay協(xié)議。

• VXLAN vs. OTV：OTV是 Cisco 專有的方法，與 VXLAN 有許多相似之處。OTV 采用控制平面協(xié)議來(lái)擴(kuò)展 MAC 地址學(xué)習(xí)、減少流量泛洪并隔離二層故障域。與具有 SDN 或 BGP EVPN 控制平面的 VXLAN 相比，OTV 在負(fù)載均衡和收斂方面還存在一些缺點(diǎn)。

• VXLAN vs. NVGRE：NVGRE建立在 GRE 之上，GRE 是路由器廣泛支持的長(zhǎng)期封裝標(biāo)準(zhǔn)。GRE是一種長(zhǎng)期存在的封裝標(biāo)準(zhǔn)，在路由器中得到廣泛支持。與 VXLAN 一樣，它包含一個(gè) 24 位網(wǎng)絡(luò)標(biāo)識(shí)符，可用于多達(dá) 1600 萬(wàn)個(gè)子網(wǎng)。VXLAN 和 NVGRE 大約在同一時(shí)間推出，但隨著 VXLAN 因其簡(jiǎn)單性而起飛，NVGRE 在很大程度上被甩在了后面。

• VXLAN vs. GENEVE：GENEVE是一種相對(duì)較新的協(xié)議，旨在成為一種“統(tǒng)一”的方法，其結(jié)合了 NVGRE 的靈活性，同時(shí)解決了 VXLAN 的一些感知限制，包括缺少協(xié)議標(biāo)識(shí)符，對(duì)操作、管理和維護(hù) (OAM) 數(shù)據(jù)包的支持有限，并且沒有標(biāo)準(zhǔn)化擴(kuò)展機(jī)制。對(duì)于大多數(shù) VXLAN 用例，尤其是在數(shù)據(jù)中心Fabric 中，這些并不是重要的限制，因此 GENEVE 似乎不太可能在短期內(nèi)超過(guò)VXLAN，但它在一些供應(yīng)商解決方案中獲得了支持，例如 VMware 的 NSX-T。

從技術(shù)上講，VXLAN、NVGRE 和 GENEVE 都提供了非常相似的功能，它們都可以使用相同的控制平面，例如 SDN 或 BGP EVPN，但到目前為止，VXLAN 的實(shí)施要廣泛得多。

虛擬化技術(shù)總結(jié)

下表總結(jié)了上述VXLAN 與其他虛擬化技術(shù)比較的一些關(guān)鍵點(diǎn)。

VXLAN 控制平面和自動(dòng)化

原則上，VXLAN Overlay可以手工配置靜態(tài)MAC到VTEP的IP地址映射，但在實(shí)踐中，需要某種類型的控制平面或自動(dòng)化框架來(lái)實(shí)現(xiàn)有意義的網(wǎng)絡(luò)可伸縮性和靈活性。VXLAN 標(biāo)準(zhǔn)描述了一種數(shù)據(jù)平面學(xué)習(xí)方法，并強(qiáng)調(diào)其他可能的控制平面選項(xiàng)。

使用 IP 組播的 VXLAN 數(shù)據(jù)平面學(xué)習(xí)

VXLAN 標(biāo)準(zhǔn)中描述的方法擴(kuò)展了標(biāo)準(zhǔn) MAC 地址學(xué)習(xí)，以創(chuàng)建 MAC 到 VTEP IP 地址的映射，而不會(huì)從根本上改變學(xué)習(xí)的工作方式。Underlay中的 IP組播用于傳輸二層廣播/未知/多播 (BUM) 流量。與下面描述的其他方法相比，這種方法有一些缺點(diǎn)。首先，它擴(kuò)展了二層廣播和故障域，而不是隔離它們。其次，與典型的 IP(單播)網(wǎng)絡(luò)相比，IP 組播的使用將Underlay網(wǎng)絡(luò)與Overlay網(wǎng)絡(luò)緊密耦合，增加了管理的復(fù)雜性。

用于VXLAN 的 BGP EVPN 控制平面

BGP EVPN提供了一種日益流行的、基于標(biāo)準(zhǔn)的方法來(lái)創(chuàng)建 VXLAN Overlay網(wǎng)絡(luò)，以滿足以下幾個(gè)目標(biāo):

• 從數(shù)據(jù)平面移除MAC地址學(xué)習(xí)，包含二層廣播域和故障域。

• 通過(guò)選擇性轉(zhuǎn)發(fā)減少?gòu)V播和組播流量負(fù)載。

• 支持跨Underlay IP網(wǎng)絡(luò)的最佳轉(zhuǎn)發(fā)、負(fù)載均衡和收斂。

BGP EVPN 使用運(yùn)行在每臺(tái)交換機(jī)中的 BGP 協(xié)議在網(wǎng)絡(luò)節(jié)點(diǎn)之間傳遞 MAC 地址和其他信息，因此我們將其稱為“protocol-based”的控制平面。

在網(wǎng)絡(luò)中的每臺(tái)交換機(jī)上配置 BGP EVPN 業(yè)務(wù)可能比較復(fù)雜、耗時(shí)且容易出錯(cuò)，因此一些網(wǎng)絡(luò)運(yùn)營(yíng)商將目光投向網(wǎng)絡(luò)自動(dòng)化工具，其中可能包括SDN自動(dòng)化，以降低復(fù)雜性并提高配置速度。

VXLAN 的 SDN 控制平面和自動(dòng)化

SDN 不僅可用于自動(dòng)化 BGP EVPN，還可以為BGP EVPN提供一種無(wú)協(xié)議的替代方案。SDN 控制平面可以實(shí)現(xiàn) BGP EVPN 上述的所有目標(biāo)，而無(wú)需在每個(gè)交換機(jī)上配置 BGP EVPN。在支持 SDN 的 VXLAN Overlay中，SDN 控制平面負(fù)責(zé) MAC 地址學(xué)習(xí)和高效轉(zhuǎn)發(fā)，同時(shí)還提供全面的端到端網(wǎng)絡(luò)自動(dòng)化，這可以使網(wǎng)絡(luò)的配置和操作簡(jiǎn)單幾個(gè)數(shù)量級(jí).。

圖 6 比較了跨 128 節(jié)點(diǎn) VXLAN Overlay Fabric上配置單個(gè)服務(wù)的操作復(fù)雜性(在本例中三層虛擬路由和轉(zhuǎn)發(fā)，或 VRF 實(shí)例)。將 SDN 自動(dòng)化應(yīng)用于 BGP EVPN 配置可以比手動(dòng)配置簡(jiǎn)化一個(gè)數(shù)量級(jí)，而采用完整的 SDN 自動(dòng)化方法可以簡(jiǎn)化大約三個(gè)數(shù)量級(jí)的任務(wù)。

編輯搜圖

圖 6：VXLAN Overlay配置的 SDN 自動(dòng)化優(yōu)勢(shì)

總結(jié)

VXLAN 已成為數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)中最流行的Overlay網(wǎng)絡(luò)虛擬化協(xié)議，因?yàn)樗鼉?yōu)于眾多替代方案?；谟布腣TEP在交換機(jī)和DPU中實(shí)施，并與BGP EVPN或SDN控制平面和網(wǎng)絡(luò)自動(dòng)化相結(jié)合時(shí)，基于VXLAN的Overlay網(wǎng)絡(luò)在可預(yù)見的未來(lái)可以提供分布式云網(wǎng)絡(luò)所需的可伸縮性、敏捷性、高性能和彈性。