Tech-Guide

了解叢集(Cluster)、叢集運算(Cluster Computing)與分散式運算

by GIGABYTE
叢集運算是分散式運算的一種,類似平行運算或網格計算;差別在於,叢集運算在高可用性、負載平衡、高效能運算HPC等各方面擁有獨特優勢,因此自成一格。技嘉科技是高性能伺服器產品業界領袖,發表本篇《科技指南》文章,企圖解釋叢集運算的由來,以及它的優勢,並推薦給您適當的伺服器解決方案,讓您有機會建造自己的叢集運算系統。
「叢集(Cluster)」意指使用多部小型電腦,透過區域網路或廣域網路「合體」成為較大型的分散式運算架構電腦。叢集通常強調使用標準化的伺服器、工作站或個人電腦產品,和普及化的網路連結。部署叢集,通常是為了提高單台電腦效能和可用性,叢集的成本效益大多優於同等級的大型電腦。以超級電腦指標Top 500為例,超過50%都是叢集系統,這就是最好的實際佐證。

詞彙學習:
花你一分鐘,一次看懂區域網路
技嘉小百科,告訴你分散式運算是什麼
常聽別人說運算叢集,你知道那是什麼嗎?
團結力量大,電腦也是一樣
為什麼需要叢集?原因很簡單,「分而治之」是很實用的策略,對電腦技術也是。早期的電腦只有單一處理器,所有工作以電腦基礎語言「指令」為單位,細分成一連串的基本運算,然後單顆處理器「循序」,一個一個處理指令。

但是,處理器的時脈和功耗有限,不可能只靠加快電子信號傳輸速度,或擴充單一處理器的運算單元規模,就可無限提升單一處理器的運算效能。因此,電腦科學中出現「平行性」的概念,可利用「多顆處理器」或「多台電腦」,同時完成「單一工作不同部份」或「幾件不同工作」。
藉由叢集屬性,一窺電腦科學「平行性」的概念
叢集就是一種「平行性」技術的應用,在運算過程中,有助於有效處理平行事件,蘊含大幅提升資料處理器速度和解決大規模問題的應用潛力,一直是產業界和學術界的熱門焦點。

「平行性」這個概念的大傘下,又包含「平行運算」和「分散式運算」兩種概念。基於運算節點的運作獨立性,及節點之間的資料互動性,概念上偏向多處理器的平行運算,和偏向多台電腦的分散式運算(包含叢集運算),其精確定義確實存在些微的差別,但兩個概念往往可以彼此互換,其相關應用,也早已深入我們的日常生活。

詞彙學習:
技嘉小百科,告訴你平行運算是什麼
常聽別人說節點,你知道那是什麼嗎?
「分散式運算」、「平行運算」兩個詞,經常被混著使用,但兩者之間存在些微的差別,主要就是運算資源共享程度:平行運算較常共享記憶體等資源,而分散式運算的節點比較獨立。應該挑選哪種運算方式,取決於所執行的運算工作。
叢集運算是分散式運算一種,而典型的分散式運算場景,包括「網路搜尋功能」:當使用者輸入關鍵字後,任務就被派發到儲存所有關鍵字的分散式節點,每個節點上的搜尋過程都是獨立的,過程中無須互相通信,完成後將結果彙整成展示給使用者的網址列表。反之,平行運算需要在計算過程中,多個任務之間產生頻繁的資料互動,多處理器環境和使用圖形處理器(GPU)支援中央處理器(CPU),就是常見的案例。《詞彙學習:花你一分鐘,一次看懂圖形處理器

分散式運算的大傘下,又包含叢集、點對點P2P (Peer-to-Peer)、網格計算,等等。這篇文章的重點,專注於叢集運算的發展與應用。《詞彙學習:技嘉小百科,告訴你網格計算是什麼
「分散式運算」的大傘下,又可分出叢集運算、點對點計算、網格計算等不同類型。不同技術可靠程度和可用性有差異,您可依照手上的工作負載,挑選最適合您的運算方法。
為何會出現以「多台電腦」為基礎的分散式運算,例如由大量較小型的單一系統,透過網路組成的叢集?因為共享記憶體架構的多處理器系統,其記憶體有效頻寬難以配合處理器數量線性成長;而處理器之間的延遲,更是限制其擴充性的一大瓶頸。換言之,在單一系統內,使用更多處理器無法保證減少完成某項計算的時間,更可能得不償失,進而失去足夠的經濟效益與投資報酬率。《詞彙學習:常聽別人說可擴充性,你知道那是什麼嗎?

效能以外,「高可靠度」和「高可用性」也是單台多處理器電腦難以滿足的需求。當雞蛋都放在同一個籃子裡,就會覆巢之下無完卵,而歷史教訓證明,再好的硬體(如大型商用主機)也難以抵抗有瑕疵的軟體(如有問題的裝置驅動程式),分散風險仍有其必要性,即叢集運算的來源。《詞彙學習:花你一分鐘,一次看懂高可用性
因個人電腦和區域網路而普及的叢集
原始概念誕生於六零年代的叢集,最初並非由特定廠商發明,而是出自於無法在同一台電腦上完成所有工作、或需要備份的終端客戶。不過,自從八零年代至今,個人電腦與區域網路的快速發展,如高效能泛用處理器、區域網路規範、標準化的訊息傳送應用程式界面、高密度伺服器的崛起,及開源作業系統的普及,讓多重處理器運算節點組成的叢集環境,成為邁向高效能運算 (HPC)、高可用性 (HA)、及負載平衡 (Load Balancing) 的顯學。

了解更多:
《詞彙學習:常聽別人說高效能運算,你知道那是什麼嗎?
《詞彙學習:技嘉小百科,告訴你負載平衡是什麼

順便一提,另一個經常和叢集相提並論的「網格計算」,究竟兩者有何不同?一般來說,叢集運算在區域網路中,連結多台同質電腦,並利用「平行性」技術的優勢,加速解決問題,共同達成單一目標。網格計算則著重於跨區域網路的大規模資源共享,動態整合分散各地的電腦或叢集系統,提高整體資源使用率。
高可用性、負載平衡、高效能等三種叢集技術
歷史上第一台商業叢集系統是六零年代中期的Burroughs B5700,由四台內建一到兩個處理器的電腦,緊密連接到一個共用磁碟儲存系統,以平衡工作負載,每台電腦都可在不中斷執行的情況下重新啟動。後來陸續問世的商業叢集系統,進一步支援平行運算和共享檔案系統,也逐步應用在超級電腦領域。
根據叢集組態不同目的,採用叢集運算技術的系統,又可細分為高可用性叢集、負載平衡叢集、高效能運算叢集,滿足使用者不同運算需求。
叢集環境的複雜程度可能有很大差距,其中較簡單的架構,可能只是連接兩台電腦的雙節點系統。根據不同目的的叢集組態,從一般用途的企業需求,到運算密集的科學計算,都可分別實現高可用性、負載平衡與高效能等屬性;也因此,叢集可依據功能的差異,分成這三種類型:高可用性叢集、負載平衡叢集、高效能運算叢集。
● 高可用性叢集 (High Availability Clusters)
當叢集中有某個節點失效時,任務會自動轉移到其他運作正常的節點,而將叢集中某些節點進行離線維護後再重新上線,也不會影響整個叢集運作。
● 負載平衡叢集 (Load Balancing Clusters)
俗語說的好,「不患寡而患不均」,有效分配工作對電腦也同樣重要,藉由一個或多個前端負載平衡器,將工作負載分發到後端的節點,就如網站伺服器叢集,是將不同的查詢分配給不同節點,以提供更短的反應時間。負載平衡方法在不同應用程式之間有很大差異,一般來說,高可用性叢集與負載平衡叢集會應用到類似的技術原理,同時兼具兩種特點,像知名的Linux虛擬伺服器 (LVS) 專案,就提供了這些功能。
● 高效能運算叢集 (High Performance Computing Clusters)
起源於使用個人電腦硬體組裝以達最優性價比的Beowulf叢集,主要應用在科學計算領域,執行特定的程式,發揮巨大的平行運算能力,特別適合在各個計算節點之間產生大量資料通訊的運算工作,也須搭配高效率的訊息傳送應用程式界面 (MPI, Message Passing Interface)。如何讓訊息傳送應用程式介面自動判斷叢集內的網路種類、連結網路拓樸和運算節點內的架構細節,依據整體環境的頻寬與延遲,進行應用程式最佳化,也是所有以叢集架構為基礎的超級電腦的技術重心。

了解更多:
技嘉科技指南系列文章:什麼是HPC高效能運算?
技嘉伺服器加持叢集運算,為您創造新價值
叢集運算架構並非只包含負責運算工作的節點;如同企業的資料中心或伺服器農場,系統維護管理服務、完整的分散式檔案系統、完善的後端儲存架構,均缺一不可。

詞彙學習:
花你一分鐘,一次看懂資料中心
技嘉小百科,告訴你伺服器農場是什麼

技嘉科技長期跟隨技術脈動,並持續觀察市場,很早開始進行叢集運算系統的產品規劃與部署,並提供各種適用於不同架構與叢集節點的伺服器產品,讓客戶擁有更具彈性的選擇。若需管理多數節點,依照需求增減系統數量或調整系統能力(所謂垂直或水平擴充),協助系統管理者掌握整個叢集,也可以與技嘉接洽,了解技嘉所提供的各種解決方案。

詞彙學習:
常聽別人說垂直擴充,你知道那是什麼嗎?
花你一分鐘,一次看懂水平擴充
技嘉科技提供完整伺服器解決方案,可支援叢集運算,包括H系列高密度伺服器與G系列GPU協同運算伺服器,適合扮演控制節點或運算節點;通用型R系列機架式伺服器,能處理關鍵工作負載;S系列儲存伺服器可保護資料安全;還有塔式伺服器W系列工作站產品,可在伺服器機架以外的地方安裝。
以下介紹適合用來進行叢集運算的技嘉伺服器產品,及各款伺服器的適用範圍:
● 操作管理整個叢集的控制節點
H系列高密度伺服器與G系列GPU協同運算伺服器,具備領先業界的超高密度結構設計,搭載效能強大的Intel® Xeon®可擴充處理器或AMD EPYC™處理器,並且能支援不同類型的通用圖形處理器(GPGPU)加速卡,適合扮演叢集運算中的控制節點。

了解更多:
《關於技嘉H系列高密度伺服器產品的更多介紹》
《關於技嘉G系列GPU協同運算伺服器產品的更多介紹》
《詞彙學習:技嘉小百科,告訴你通用圖形處理器是什麼
● 負責運算工作的運算節點
如同控制節點,運算節點講究處理器效能。除了高密度伺服器和GPU協同運算伺服器之外,技嘉亦推出W系列塔式伺服器(工作站)產品,具有獨立機殼,方便IT管理者依照需求的變化,擴充或改變伺服器安裝位置。

了解更多:
《關於技嘉W系列工作站產品的更多介紹》
《詞彙學習:常聽別人說IT,你知道那是什麼嗎?
● 多元網路選擇與關鍵任務執行
技嘉推薦通用型R系列機架式伺服器,提供優質運算效能和可靠程度,滿足您的企業需求,此系列伺服器可支援Ethernet、InfiniBand或Omni-Path等多種網路架構。
● 叢集共用檔案系統與資料儲存
技嘉S系列儲存伺服器,支援高達60個伺服器硬碟槽的企業級大容量硬碟,並可搭載軟體定義儲存等虛擬化儲存系統,幫您滿足性能、容量、成本等各方面的需求。

了解更多:
《關於技嘉R系列機架伺服器產品的更多介紹》
《關於技嘉S系列儲存伺服器產品的更多介紹》
《詞彙學習:常聽別人說軟體定義儲存,你知道那是什麼嗎?

技嘉全系列伺服器產品,皆可搭配技嘉獨有的「技嘉伺服器管理套件」 (GSM) ,這是一套能讓用戶透過網路進行大量伺服器即時管理的軟體套件,可從技嘉官方網站免費下載。GSM支援Windows和Linux作業環境,包含提供全方位系統管理功能的許多套件,包括GSM Server資料彙整平台,讓IT人員透過網路進行遠端、即時的大量伺服器管理;GSM CLI資料彙整平台,讓IT人員藉由命令行輸入操作,進行遠端管理;GSM Agent,透過作業系統來檢索每台系統及裝置的資訊;GSM Mobile行動裝置App,提供方便、即時的系統資訊彙報;以及GSM Plugin,這是支援VMware軟體的應用程式介面,讓用戶能透過VMware vCenter進行伺服器硬體的即時監控與管理。

技嘉科技提供完整的伺服器解決方案,提供給您更具選擇彈性和更高成本效益的叢集運算系統。技嘉可協助您的企業進行數位轉型,導入叢集運算技術,共創價值。如果希望進一步了解叢集,觀迎您透過marketing@gigacomputing.com電子信箱聯絡技嘉科技業務窗口,我們將協助您挑選適合您的解決方案。

了解更多:
技嘉科技指南系列文章:如何挑選適當的伺服器冷卻方案?
Realtion Tags
軟體定義儲存
水平擴充
垂直擴充
可擴充性
網格計算
高效能運算
資料中心
圖形處理器
平行運算
運算叢集
伺服器農場
區域網路
通用圖形處理器
資訊科技
高可用性
分散式運算
負載平衡
節點
WE RECOMMEND
RELATED ARTICLES
什麼是HPC高效能運算? 技嘉科技《科技指南》系列文章

Tech Guide

什麼是HPC高效能運算? 技嘉科技《科技指南》系列文章

隨著伺服器解決方案變得更為普及,常有人提起高效能運算(HPC);內行人把這個字掛在嘴邊,好像只要是伺服器產品,就應該提供HPC功能,HPC可以解決所有運算問題……您可能想要知道,HPC真正的優勢是什麼?您能如何應用? 技嘉科技是高性能伺服器產品的業界領袖,本次發表《科技指南》文章,目的是清楚解釋HPC定義,並透過真實世界HPC成功案例介紹,希望能夠幫您評估,HPC是否符合您的需求?如果需要HPC,技嘉科技能為您提供什麼服務?
淺談大數據分析應用,掌握先機的關鍵鑰匙

Tech Guide

淺談大數據分析應用,掌握先機的關鍵鑰匙

「大數據big data」或許不是陌生的名詞,但是,您知道它的原理和運用方法嗎?您是否聽說過「大數據的5V原則」?還有,您是否熟悉「做好大數據的三個基礎步驟」?更關鍵的是,如果您想使用大數據,您是否擁有適合的工具?技嘉科技是尖端科技解決方案的知名品牌,發表本篇《科技指南》,目的是介紹大數據的基本知識,淺談大數據所蘊藏的無限商機,並且推薦適用於大數據的技嘉科技伺服器產品,讓您能掌握大數據,解決生活和工作上所遇到的問題。
ARM架構處理器的由來與優勢:從智慧型手機到超級電腦

Tech Guide

ARM架構處理器的由來與優勢:從智慧型手機到超級電腦

ARM架構處理器是主流x86處理器架構以外的不同選擇,原本在行動裝置上穩居市占龍頭,如今,也逐漸在伺服器和資料中心產品中出現。技嘉科技是高性能伺服器產品的知名品牌,發表本篇《科技指南》文章,回顧ARM處理器的發展過程,介紹ARM產品的優勢與特性,並且推薦適用於不同領域的技嘉科技伺服器解決方案,協助您解決在工作上可能遇到的問題。
帶您快速跟上人工智慧AI趨勢的十大問答

AI & AIoT

帶您快速跟上人工智慧AI趨勢的十大問答

大家都在談人工智慧(AI),您是否也希望擁有基本的知識,參與這個話題的討論?別擔心,技嘉科技為您準備了介紹AI趨勢的十大問答,讓您能快速理解人工智慧的概念!
想要掌握最新科技動向?馬上訂閱!
訂閱電子報