技嘉科技協助ISC學生團隊叢集運算競賽 - 培育新一代高效能運算人才

2019六月在德國法蘭克福，技嘉伺服器支援四支參賽團隊參與ISC高效能運算會議（International Supercomputing Conference）和展覽。此次盛會吸引來自五十多個國家/地區的三千五百多名與會者參加了今年的展會。

技嘉科技為業界知名的伺服器設計製造商，多年來協助客戶建構彈性、靈活的高效能叢集運算系統，技嘉科技的高密度和GPU伺服器等系列產品可以滿足各類型高效能叢集運算應用。以多樣化的伺服器產品，例如H系列高密度伺服器、G系列GPU協同加速運算伺服器與R系列高效能伺服器，透過各項產品組合滿足高效能運算各個應用角色需要，供給各個不同階層應用伺服器的最佳性價比與靈活性。

這次競賽有四個不同的學生團隊選擇技嘉科技的高效能伺服器來佈署高效能叢集運算架構。這四個團隊各自選擇四種不同CPU平臺構建高效能運算叢集架構，可證實技嘉科技伺服器滿足不同高效能運算應用架構需求條件。以下介紹四支參賽隊伍：

ISC論壇展會與學生叢集運算競賽 (SCC：Student Cluster Competition)結束後，我們實際採訪兩個採用技嘉伺服器產品的參賽團隊——HPC Team Racklette（瑞士蘇黎世聯邦理工學院）和Tartu Team（愛沙尼亞塔爾圖大學）——，詳細瞭解他們為何選用技嘉科技伺服器構建高效能叢集運算架構、面臨哪些挑戰，以及團隊在比賽中的亮點。採訪團隊同時詢問下一場比賽SC19，他們預計怎麼調整與改進比賽計劃。

我們採用四部技嘉科技 G291-280伺服器作為運算集點，配置兩顆Intel Xeon Platinum 8180 CPU，總計八顆CPU。其中兩個節點額外配備四張NVIDIA Tesla V100 GPU加速卡，運用GPU加速應用程式實現最佳性能，整體系統配置八張GPU加速卡。 所有節點都使用Infiniband通訊協定，網路交換機採用Mellanox 100Gbit/s Infiniband EDR，完成四部運算節點互為連接。再運用主機的乙太網路（Ethernet）用於部署、運算和監控。 為了節省電力，儲存設備裝置保持在最低限度，因此將開機磁碟與運算節點資料儲存共用一顆SSD。整體高效能叢集架構的系統設計，是來自CSCS瑞士國家超級計算中心 (Swiss National Supercomputing Centre )的顧問和系統整合商，還有瑞士的贊助商Dalco的協助組裝建構完成整體比賽軟硬體架構。

我們試圖設計一個對廣泛的應用具有競爭力的系統。 經過一些粗略的初步測試並考慮到 3000W 的功率限制，我們已經在早期階段系統設計採用四個運算節點。我們選擇了英特爾 CPU 與 NVIDIA 加速卡的組合達到最佳運算性能，將使我們處於非常有競爭力的位置。為了平衡軟硬體架構以及軟體所有應用程式的系統與基準測試的功率測量，我們決定最終8顆CPU和8張GPU的硬體配置。所有軟/硬體配置確定後，使我們能夠在GPU與CPU的應用運算程式條件中，能夠較準確評估3000W功率上限。

我們的團隊準備得很好，在比賽開始時就已經啟動並運行了所有應用程式。然而，在比賽期間我們仍然遇到了一些障礙，我們必須處理新的資料源輸入集(new input sets)。 我們在使用Swift和OpenFOAM模擬資料處理時遇到了一些問題。我們使用的訊息傳遞介面 (MPI：Message Passing Interface)，拋出了各種錯誤消息，最初我們無法在比賽當天運行應用程式。 然而，經過密集調試和耐心等待和適應新編碼，對應元資料依賴項重新組譯後，能夠為每個應用程式運作提交一個不錯的運算結果。

我們真實目標是構建一個在所有應用程式上都良好表現的運算系統，不是單獨為LINPACK效能數值構建單一用途叢集運算軟/硬體結構。然而，由於比賽的LINPACK是非常重要的基準測試值，因此決定使用八張NVIDIA Tesla V100 GPU來獲得具競爭力的運算能力。 技嘉科技的GPU伺服器良好硬體設計，使我們能夠在比賽前進行廣泛測試，以確保最佳的GPU佈局能獲得最高 LINPACK數值。雖然我們整體架構從每組配置（4x2）的4個節點和2張GPU 開始；經過各種組合排列，例如一部伺服器搭配八張GPU設置，最終確認二部伺服器搭配四張GPU設置佈局。除了對 LINPACK 基準測試的最佳輸入參數進行廣泛測試外，我們還測試驗證系統中的各種參數調教，一方面是為了節省運行本身不需要的組件的電源，另一方面是推動關鍵部件（如 GPU）盡可能高運算值，且剛好低於3000W功率上限。因此，我們最終花費了大量時間來尋找最佳CPU、風扇速度、GPU、待機模式和其他系統組件的電源狀態以及相關應軟硬元組件。最終辛勤工作獲得回報，我們能夠在僅使用八張GPU的情況下實現最高的LINPACK運行，與比賽中其他系統運算能力更強的團隊競爭。除了我們在比賽前嚴格的測試和調整之外，達成優化運算的關鍵是我們選擇了由技嘉科技GPU Server組成四個運算節點，組合成一套小型的HPC叢集運算，其中LINPACK運算能力更集中在這四個運算節點中。讓我們的電源運作與空閒消耗保持在較低水準，同時能以更高效能水準運作兩組裝載GPU的運算節點。

我們已經開始討論 SC19 的基礎硬體配置。主要目標是構建一個平衡的多工運算系統，整套系統架構將執行高效運算及為所有應用程式提供良好的性能。在準備 ISC19 的過程中，我們學會了使用許多工具，例如 Bright Cluster Management 和數據包管理器 Spack，我們將繼續使用整套軟體配置架構。為了在SC19上取得更好的成績，我們將嘗試進一步改進我們的監控設置。我們的團隊沒有太多的時間在比賽中對叢集運算進行精準的功耗測量，因此為具備更準確功率測量進行多種設定比較以及進行運算訓練成為首要任務。到目前為止，我們為了穩定性並確認元資料的各項取捨，從而獲得進一步改善運算效能，並且嘗試在運算過程中添加更多項自動化優化運算調校，試著減少手動調整韌體參數配置。此外，在過去為 ISC19 做準備期間，我們在HPC軟體架構方面獲得許多經驗，使得我們在嘗試軟體架構優化方面更得心應手，例如研究手動調整源代碼優化等等。

我們首選的CPU是AMD EPYC™ 7001 Series，因為 AMD CPU具有較多快取、較高運算時脈與較低電源能耗，在高速運算需要移動大量數據的應用程序中非常有效用。因此，我們可以比其他競爭球隊更具優勢。我們的團隊希望通過 AMD CPU 的優質效能，來挑戰比賽任務，並在平行運算領域獲得更多的知識和經驗。另外AMD還有支援許多開源函數庫。

在比賽中常會出現意想不到的狀況。 對這些問題做出快速反應是一個相當大的挑戰，但這是比賽樂趣之一！ 在有限的時間和資源以及適應各種任務的情況下，及時處理這些棘手問題，尤其是在嘗試相對應資訊元，藉以平衡不同運算任務以在比賽排行榜上佔據較高排序。 對於其中一些挑戰模擬，在比賽前做好準備，可以讓我們在比賽中更好地利用時間與既有資源。 在共享系統的同時管理電源功耗尤為重要。 我們團隊期望將運算資源用在主要AI 人工智慧工作負載來進行訓練，達成有效過濾不重要的資訊源，希望能夠藉由GPU來加速資料分析，同時讓團隊中其他分組成員能夠發揮加速運算作用。經由此次比賽，我們理解到為高效能運算值設置檢查點是非常繁瑣且複雜的評估工作。

我們設法快速組裝能夠運行和編譯每個應用程序的叢集運算系統，這給了我們很大的信心與充裕的時間來調整性能。本次活動所需的團隊合作令人驚嘆，並讓我們理解高效能運算需要非常積極的協作才能解決問題。 總的來說，比賽的一大好處是可以結識對相似領域感興趣的同學，且這些同學同時也具有不同的專業領域背景。 除此之外，我們還有機會與該行業建立聯繫。 這不僅能開拓視野，對未來也可能非常有益。

每次在比賽告一段落後，都會對可能遇到的問題有更多的瞭解，以便更好地為下次遇到這些情況做好準備。 對於潛在的問題，最好有一個已知的有效解決方案並有幾個備用計劃。

2019年的 ISC 學生叢集運算競賽(SCC：Student Cluster Competition)，技嘉科技的伺服器產品被四個不同的團隊選用，這證明技嘉科技已是高效能運算主要的伺服器製造供應商，多樣化設計機型供應給高效能叢集運算常用的CPU 和 GPU硬體配置的系統應用，基於各種不同運算元件建構最高硬體系統性能，例如x86（Intel、AMD）和 Arm（ThunderX2），還有新世代ARM Ampere Altra/Altra MAX等新機型上市。