傳統的數據中心網絡技術， STP是二層網絡中非常重要的一種協議。用戶構建網絡時，為了保證可靠性，通常會采用冗余設備和冗余鏈路，這樣就不可避免的形成環路。而二層網絡處于同一個廣播域下，廣播報文在環路中會反復持續傳送，形成廣播風暴，瞬間即可導致端口阻塞和設備癱瘓。因此，為了防止廣播風暴，就必須防止形成環路。這樣，既要防止形成環路，又要保證可靠性，就只能將冗余設備和冗余鏈路變成備份設備和備份鏈路。即冗余的設備端口和鏈路在正常情況下被阻塞掉，不參與數據報文的轉發。只有當前轉發的設備、端口、鏈路出現故障，導致網絡不通的時候，冗余的設備端口和鏈路才會被打開，使得網絡能夠恢復正常。實現這些自動控制功能的就是STP(Spanning Tree Protocol，生成樹協議)。

　　由于STP的收斂性能等原因，一般情況下STP的網絡規模不會超過100臺交換機。同時由于STP需要阻塞掉冗余設備和鏈路，也降低了網絡資源的帶寬利用率。因此在實際網絡規劃時，從轉發性能、利用率、可靠性等方面考慮，會盡可能控制STP網絡范圍。

　　一、 大二層也是為了流通的要求

　　隨著數據大集中的發展和虛擬化技術的應用，數據中心的規模與日俱增，不僅對二層網絡的區域范圍要求也越來越大，在需求和管理水平上也提出了新的挑戰。

　　數據中心區域規模和業務處理需求的增加，對于集群處理的應用越來越多，集群內的服務器需要在一個二層VLAN下。同時，虛擬化技術的應用，在帶來業務部署的便利性和靈活性基礎上，虛擬機的遷移問題也成為必須要考慮的問題。為了保證虛擬機承載業務的連續性，虛擬機遷移前后的IP地址不變，因此虛擬機的遷移范圍需要在同一個二層VLAN下。反過來即，二層網絡規模有多大，虛擬機才能遷移有多遠。

　　傳統的基于STP備份設備和鏈路方案已經不能滿足數據中心規模、帶寬的需求，并且STP協議幾秒至幾分鐘的故障收斂時間，也不能滿足數據中心的可靠性要求。因此，需要能夠有新的技術，在滿足二層網絡規模的同時，也能夠充分利用冗余設備和鏈路，提升鏈路利用率，而且數據中心的故障收斂時間能夠降低到亞秒甚至毫秒級。

　　二、 大二層需要有多大

　　既然二層網絡規模需要擴大，那么大到什么程度合適?這取決于應用場景和技術選擇。

　　1. 數據中心內

　　大二層首先需要解決的是數據中心內部的網絡擴展問題，通過大規模二層網絡和VLAN延伸，實現虛擬機在數據中心內部的大范圍遷移。由于數據中心內的大二層網絡都要覆蓋多個接入交換機和核心交換機，主要有以下兩類技術。

　　虛擬交換機技術

　　虛擬交換機技術的出發點很簡單，屬于工程派。既然二層網絡的核心是環路問題，而環路問題是隨著冗余設備和鏈路產生的，那么如果將相互冗余的兩臺或多臺設備、兩條或多條鏈路合并成一臺設備和一條鏈路，就可以回到之前的單設備、單鏈路情況，環路自然也就不存在了。尤其是交換機技術的發展，虛擬交換機從低端盒式設備到高端框式設備都已經廣泛應用，具備了相當的成熟度和穩定度。因此，虛擬交換機技術成為目前應用最廣的大二層解決方案。

　　虛擬交換機技術的代表是H3C公司的IRF、Cisco公司的VSS，其特點是只需要交換機軟件升級即可支持，應用成本低，部署簡單。目前這些技術都是各廠商獨立實現和完成的，只能同一廠商的相同系列產品之間才能實施虛擬化。同時，由于高端框式交換機的性能、密度越來越高，對虛擬交換機的技術要求也越來越高，目前框式交換機的虛擬化密度最高為4:1。虛擬交換機的密度限制了二層網絡的規模大約在1萬～2萬臺服務器左右。

　　隧道技術

　　隧道技術屬于技術派，出發點是借船出海。二層網絡不能有環路，冗余鏈路必須要阻塞掉，但三層網絡顯然不存在這個問題，而且還可以做ECMP(等價鏈路)，能否借用過來呢?通過在二層報文前插入額外的幀頭，并且采用路由計算的方式控制整網數據的轉發，不僅可以在冗余鏈路下防止廣播風暴，而且可以做ECMP。這樣可以將二層網絡的規模擴展到整張網絡，而不會受核心交換機數量的限制。

　　隧道技術的代表是TRILL、SPB，都是通過借用IS-IS路由協議的計算和轉發模式，實現二層網絡的大規模擴展。這些技術的特點是可以構建比虛擬交換機技術更大的超大規模二層網絡(應用于大規模集群計算)，但尚未完全成熟，目前正在標準化過程中。同時傳統交換機不僅需要軟件升級，還需要硬件支持。

　　2. 跨數據中心

　　隨著數據中心多中心的部署，虛擬機的跨數據中心遷移、災備，跨數據中心業務負載分擔等需求，使得二層網絡的擴展不僅是在數據中心的邊界為止，還需要考慮跨越數據中心機房的區域，延伸到同城備份中心、遠程災備中心。

　　一般情況下，多數據中心之間的連接是通過路由連通的，天然是一個三層網絡。而要實現通過三層網絡連接的兩個二層網絡互通，就必須實現“L2 over L3”。

　　L2oL3技術也有許多種，例如傳統的VPLS(MPLS L2VPN)技術，以及新興的Cisco OTV、H3C EVI技術，都是借助隧道的方式，將二層數據報文封裝在三層報文中，跨越中間的三層網絡，實現兩地二層數據的互通。這種隧道就像一個虛擬的橋，將多個數據中心的二層網絡貫穿在一起。

　　另外，也有部分虛擬化和軟件廠商提出了軟件的L2 over L3技術解決方案。例如VMware的VXLAN、微軟的NVGRE，在虛擬化層的vSwitch中將二層數據封裝在UDP、GRE報文中，在物理網絡拓撲上構建一層虛擬化網絡層，從而擺脫對網絡設備層的二層、三層限制。這些技術由于性能、擴展性等問題，也沒有得到廣泛的使用。

　　一、數據中心之間的互聯方式

　　網絡三層互聯。也稱為數據中心前端網絡互聯，所謂"前端網絡"是指數據中心面向企業園區網或企業廣域網的出口。不同數據中心(主中心、災備中心)的前端網絡通過IP技術實現互聯，園區或分支的客戶端通過前端網絡訪問各數據中心。當主數據中心發生災難時，前端網絡將實現快速收斂，客戶端通過訪問災備中心以保障業務連續性;

　　網絡二層互聯。也稱為數據中心服務器網絡互聯。在不同的數據中心服務器網絡接入層，構建一個跨數據中心的大二層網絡(VLAN)，以滿足服務器集群或虛擬機動態遷移等場景對二層網絡接入的需求;

　　SAN互聯。也稱為后端存儲網絡互聯。借助傳輸技術(DWDM、SDH等)實現主中心和災備中心間磁盤陣列的數據復制。

　　二、數據中心二層互聯的業務需求

　　服務器高可用集群

　　服務器集群(Cluster)，是借助集群軟件將網絡上的多臺服務器關聯在一起，提供一致的服務，對外表現為一臺邏輯服務器。多數廠商(HP、IBM、微軟、Veritas等)的集群軟件需要各服務器間采用二層網絡互聯。將集群中的服務器部署于不同數據中心，可實現跨數據中心的應用系統容災。

　　服務器搬遷和虛擬機動態遷移

　　數據中心進行擴建或搬遷時，需要將物理服務器從一個數據中心遷至另一個數據中心。在此過程中，考慮以下兩個因素，需要在數據中心間構建二層互聯網絡：

　　當服務器被遷至新機房，如未構建新老中心間的二層互聯網絡，則面臨重新規劃新中心服務器IP地址的問題，同時還需修改DNS，或修改客戶端應用程序配置的服務器IP。因此，構建跨中心的二層互聯網絡可保留被遷移服務器的IP地址，進而簡化遷移過程;

　　在服務器搬遷期間，經常在給定的時間內，只能將服務器群的一部分服務器遷至新中心，為保證業務連續性，需建立跨中心的服務器集群，構建跨越中心的二層互聯網絡可實現服務器平滑遷移。

　　與服務器搬遷類似的情況是"虛擬機遷移"。當前，一些服務器虛擬化軟件可實現在兩臺虛擬化的物理服務器之間對虛擬機做動態遷移。遷移至另一中心的虛擬機不僅保留原有IP地址，而且還保持遷移前的運行狀態(如TCP會話狀態)，所以必須將涉及虛擬機遷移的物理服務器接入同一個二層網絡(虛擬機在遷移前后的網關不變)，這種應用場景要求構建跨中心的二層互聯網絡。

　　三、數據中心二層互聯設計要點

　　1.前提要素--現網狀態

　　選擇數據中心二層互聯方案的前提要素是明確用戶在多個數據中心之間具有哪些網絡資源。網絡資源的不同直接決定了用戶將采用何種組網方案：

　　運營商、大型互聯網企業：裸光纖或DWDM傳輸資源，對應RRPP環網方案或HUB-SPOKE方案;

　　運營商、大企業、金融、政府機構：MPLS網絡，對應VPLS組網方案;

　　中小企業客戶：IP網絡，對應VPLSoverGRE組網方案

　　2.核心要素--性能

　　時延

　　數據中心之間二層互聯是為了實現虛擬機的異地調度和集群異地應用，為了實現這一點，必須滿足虛擬機VMotion和集群存儲異地訪問的時延要求。第一個限制是VMotion同步會話距離。第二個要求是存儲網絡。DC之間的存儲必須實現同步訪問或是鏡像訪問。

　　需要注意的是，在VPLS或是IP網絡環境中，由于網絡中存在大量復雜的應用，所以必須通過部署全網QoS來保證DCI互聯數據流的服務質量。流量環境越復雜，則QoS配置工作量越大，時延指標越難以滿足。VPLS網絡通常應用于企業或是行業的專用業務，流量環境相對于IP網絡較簡單，所以在部署QoS方面有一定優勢。

　　帶寬

　　數據中心互聯的核心需求之一就是保證虛擬機跨DC的遷移。vSphere5.0之前的版本，VMotion對于遷移鏈路的帶寬有明確的要求-帶寬不小于622M;vSphere5.0的版本，VMotion對于遷移鏈路的帶寬不小于250M。

　　從帶寬資源的分配情況來看，裸光纖或DWDM的帶寬資源最為充足，VPLS和IP網絡的帶寬資源相對緊張，必須部署全網端到端的QoS優先級來保證DCI業務流量的帶寬要求。

　　3.關鍵要素--HA

　　數據中心二層互聯的關鍵因素就是如何提高可用性。提高HA的一個最有效的方式就是設計備份鏈路、備份節點。如果結合提高互聯帶寬的需求，則建議設計負載分擔的互聯路徑，在提高互聯帶寬的同時，也能夠保證系統異常時能夠實現業務的快速收斂，提高HA指標。

　　以DWDM網絡為例，建議利用IRF實現DCI鏈路的高HA和鏈路負載分擔設計方案。

　　在裸光纖或是DWDM互聯組網方案中，DCI互聯的兩端PE設備必須支持IRF，將PE之間的兩條(或多條)鏈路通過聚合(LACP)技術形成一條邏輯鏈路，會極大的簡化DCI的組網拓撲。同時，這兩條HA鏈路的帶寬會得到100%的利用，達到1:1的負載分擔效果。

　　四、數據中心二層互聯方案設計

　　1.基于裸光纖或DWDM線路的二層互聯

　　裸光纖或DWDM二層互聯方案需要用戶在現網中擁有光纖或傳輸資源，對用戶要求較高，但從使用的角度來看，裸光纖或DWDM方案的性能是最優的。

　　基于裸光纖或DWDM線路的二層互聯方案有兩種選擇：HUB-SPOKE方案和RRPP環網方案。前者的優點是基于最短路徑轉發，所以轉發效率高;后者的優點則是環網天然的轉發路徑冗余設計，所以HA性能較高。

　　Hub-Spoke組網方案

　　通過裸光纖或是DWDM將多個(例如4個)數據中心互聯。為了方便擴展更多的數據中心節點，一個最常用的方案就是采用HUB-SPOKE組網模型，即通過一個核心節點與各數據中心的匯聚層互聯。在邏輯結構上，多個中心與核心節點構成了一個Hub-Spoke的星形拓撲，其中核心節點為HUB，各中心匯聚層為Spoke。

　　在Hub-Spoke組網環境中，核心節點是最重要的，關系到全網是否能正常運轉，是保證多數據中心HA的關鍵因素。如何提高核心節點的HA性能?一個最重要的設計理念就是在核心節點應用IRF技術，將兩臺設備通過IRF技術形成一臺設備，將核心設備故障異常的收斂時間從幾十秒降低到毫秒級，也就是說可以將系統的HA性能提高將近兩個量級。這一點對于Hub-Spoke組網方案是非常重要的。