建構高延展、高擴充性巨量資料網路

ARISTA 台灣區技術經理 呂學全

在巨量資料時代，網路技術也跟著產生變化。ARISTA台灣區技術經理呂學全指出，如何不要掉封包、如何讓搜尋速度快一點，這些巨量資料分析應用所在乎的指標，其實都跟網路脫不了關係。

以巨量資料分析最常見的Hadoop技術為例，呂學全指出，建議要建立在Layer3的網路架構上執行，除了要考慮容錯的可用性，確保單一的機架故障時，不會導致資料存取的損失外，還要設法優化資料的存取過程，設法調度計算資源，盡可能地呈現真實數據。

呂學全指出，在巨量資料時代，資料傳輸的特性其實跟過去的不一樣，在過去的關聯式資料庫時代，資料庫進行南北垂直的傳送機會會比較多，但因為Hadoop串聯伺服器運算的特性，東西橫向的傳輸會變得更多，如果網路架構沒有適度改變，就很容易塞車，常常導致資料無法回傳而重傳，進而造成運算時間被浪費。

為了因應前述可能遭遇的問題，網路架構必須要重新定義，必須要橫向擴展，才能改善傳輸瓶頸，而且網路一樣可以簡單化。Arista採用史丹佛大學研發的技術，率先業界推出Spline網路架構，網路架構及技術都因此簡單化，進而減少封包傳輸延遲，同時達到降低功耗與簡化佈線的目標。

高延展及高擴充性，更是Arista網路架構的一大特性。呂學全指出，當網路架架構能夠簡單化，進而隨時延展及擴充時，自然就可以提供更為多元的服務，除了巨量資料外，包括儲存、虛擬機器、雲端服務、Web 2.0服務等，也都能應付自如。

回到Hadoop技術的運算特性，呂學全指出，Hadoop在進行運算時，會有大量的資料複製及回傳，eBay過去使用傳統的交換器時，一開始資料量不大，還沒有感覺差別，等資料量變大，速度開始變慢，封包也開始掉了，因為傳統的交換器緩衝設計(Buffering)不夠大，才會導致前述的問題。

呂學全舉例指出，如果要傳送25MB的資料，在1秒內傳完，還是在0.1秒內傳完，頻寬的使用要求會有很大的不同。如果要在0.1秒內傳完，其實瞬間流量超過1G，交換器可能就應付不來。

緩衝設計變大有什麼好處呢？呂學全舉例指出，如果有10MB的資料，輸出到只能容納5MB的交換器，肯定是無法一次全部送進去，第6MB就只好先丟掉，就會造成很多資料重傳的結果，但只要交換器的緩衝設計夠大，就可以避免前述問題。

ARISTA除了提供增加緩衝設計的交換器產品外，也提供工具分析交換器的緩衝區是不是滿了，而且適時提出警告，讓管理者判斷是要調整資料流量，或是調整交換器上的緩衝區設定。

如果企業擁有非常多台伺服器，尤其是巨量資料時代，必須用到相當多台的交換器及伺服器，不管是維護或重新設定，要是工程師資料沒有做完全，IP忘記了等人為問題，就會碰到管理面的問題。呂學全指出，此時就需要一個統一管理的平台，如ARISTA的ZTP(Zero-Touch Provisioning)平台，就會先跟交換器溝通，先取得必要的資料如IP或重要的定義檔等，在更換交換器後，只要將電源及接頭接回去，設定就會自動完成。

此外，呂學全指出，企業還要考慮網路架構的高可用性。當Hadoop將工作送入Job Tracker，再往下分配任務時，會預設很長的等待時間，因為運算時間可能會很久，才會回傳資料，如果在等待的期間，伺服器或網路出現狀況，Hadoop依然還是會等待資料回傳，ARISTA因此提出標準MLAG技術，提供Hadoop Server Active/Active 雙路由及單一Gateway IP服務，當線路斷線時，可快速切換路由，提供減少資料等待的時間。ARISTA也提供另一種RAIL(Rapid Automated Indication of Link-Loss)技術，當Hadoop Server只有單一線路連至Arista Switch時，此時在資料送到交換器時，先行記憶重要資訊，當線路發生斷線時，一旦發現伺服器沒有及時回傳資訊，Arista Switch就會通知TCP連線來源端先行結束任務，讓其他伺服器來處理，就可避免造成無謂的資源浪費。

由於Hadoop的MapReduce軟體框架，會先把資訊個別打散，重新統計收斂後，再輸出結果，為了能讓ARISTA的解決方案能跟Hadoop整合得更好，有更好的溝通，除了可以直接看到Hadoop上的工作狀態外，還可以得知這個工作的資料傳輸量，在哪一個伺服器上執行，甚至能得知完成度的狀況。

為了要找到Hadoop這麼多的工作及任務，ARISTA特別提出CloudVision CLI，可以指定數台交換器成為一個群組讓管理者可以很方便的直接看到Hadoop上面的工作狀態，也就可以很快的追蹤問題所在。

呂學全表示，巨量資料時代的網路架構，必須是易於管理，性能更好，避免數據封包丟失，而且能夠讓管理人員好操作，容易掌握重要資訊，才能讓巨量資料的應用更加方便。