AI 工廠時代的生產力:伺服器 × 液冷架構 × G-REX
生成式 AI、大型語言模型(LLM)與高效能運算(HPC)的快速發展正將傳統資料中心推向 AI 工廠的全新型態,當單櫃功耗推升到 100kW 甚至更高,算力擴張的挑戰已不再是算不算得動,而是能否在可控能耗與長期穩定性下持續運作。
美國能源部(DOE)於 2024 年發布的勞倫斯伯克利國家實驗室(LBNL)研究指出,資料中心用電負載預期將持續快速成長,對電力與散熱基礎設施形成長期壓力。要真正讓算力規模化,冷卻不再只是配套,而是系統設計的核心要素。
技嘉直接液體冷卻方案:從設計源頭帶走熱能
不同於在既有氣冷伺服器上加裝水冷套件,技嘉直接液體冷卻(Direct Liquid Cooling, DLC)伺服器從設計初期即為液冷而生。關鍵發熱元件透過被動式水冷循環板(Cold Plate)直接與冷卻液迴路進行熱交換,將大部分熱能從一次側 (設施水路) 帶走。相較於氣冷必須先將熱變為熱風,再由空調系統排除,DLC 能以更短的熱傳路徑、更高的效率導出熱能,可大幅降低資料中心的冷卻能耗。
超過 92% 的熱捕捉率 (Heat Capture Ratio)
在液冷架構中,熱捕捉率是衡量效能的關鍵指標。技嘉 DLC 伺服器可將 92% 以上的系統熱能直接由冷卻液帶走,僅需少量氣流處理殘餘熱能,帶來以下多項效益:
- 機殼內風扇數量可大幅減少,甚至不需風扇
- 機房空調負載顯著降低
- 整體 PUE(Power Usage Effectiveness) 具備進一步最佳化空間
- 強化系統穩定性,支援AI 訓練與高功率 CPU 叢集的長時間運作
多項產業研究亦指出,冷板式 DLC 已能成熟支撐高熱密度機櫃運行。例如在單櫃 IT 總熱負載達 140kW 的情境中,DLC 仍能維持穩定運作,顯示其在大規模 AI 與 HPC 叢集部署上的可行性。
從單機到整櫃:GIGAPOD 讓算力成為可複製的生產線
在實際部署中,真正的挑戰往往不在於取得一台高效能 GPU 伺服器,而是如何以一致的方法,將數十櫃、數百櫃算力整合成可擴展的系統。 基於 DLC 伺服器,技嘉進一步推出水冷式 GIGAPOD 運算機櫃方案:在出廠前即完成伺服器、網路、電力與水冷管路的叢集級(Cluster-level)整合與驗證,讓算力部署更像模組化生產,而非一次性工程專案。
| 定位 | 應用 | 配置 | 特色 | |
|---|---|---|---|---|
| GIGAPOD AI | 專為 AI 訓練 / 推論而設計的高效 GPU 架構 | 大型AI訓練、生成式AI推論、LLM訓練叢集 | HGX / OAM/ PCIe 加速卡 | 極致 AI 效能、一站式熱效率最佳化 |
| GIGAPOD HPC | 專注 HPC 或雲端應用的可擴展運算架構 | 科學模擬、工程分析、雲端運算、國研/ 高效 HPC | CPU 叢集,支援多節點組態 | 穩定高效、模組化部署、支援 MRDIMM 與高速網路 |
GIGAPOD 的核心優勢包括:
- 跨多機櫃共享的冷卻架構設計
- 隨運算密度線性擴充的冷卻能力
- AI 工廠等級集中化管理
- 支援 L11 / L12快速部署與交付
GIGAPOD 可針對 AI 或 HPC 的 IT 需求提供相對應的系統設計,成為企業內部 AI 工廠、雲端服務供應商(CSP)或研究機構的標準化運算模組,讓客戶降低跨供應商整合風險,加速算力規劃與擴充。
了解更多:GIGAPOD解決方案
45°C 進水設計:用溫水冷卻,降低冷凍機依賴
在 AI 工廠中,節能的關鍵往往來自降低對冷凍機(Chiller)的依賴。研究顯示,液冷系統若能採用接近環境溫度,甚至更高的供水溫度,可有效縮短冷凍機運轉時間、提升效能係數,讓 Free Cooling 策略更具實際效益。
技嘉 GIGAPOD 水冷解決方案在管路、冷板與系統層級設計上即是以 45°C 進水仍可穩定運作為首要目標,使算力成長不再與冷卻能耗等比例增加。這也呼應產業共識:水溫並非越低越好,需與冷卻液分配裝置( Coolant Distribution Unit, CDU)、熱交換與整體系統設計共同最佳化4。
GREX:串接 OT x IT 的叢集管理關鍵
隨著水冷技術導入,資料中心將大量接觸 OT(Operational Technology)設備,如 CDU、背門式散熱門(Rear Door Heat Exchanger, RDHx)與各式感測控制裝置。真正的挑戰,往往發生在後續的整合與維運。 G-REX 是技嘉自主研發的中介管理技術,並作為 GIGABYTE POD Manager(GPM) 的核心模組,負責整合 CDU、RDHx、電源分配裝置(Power Distribution Unit, PDU)等設備,將 OT 世界的數據轉換為 IT 系統能理解、可管理的介面,提供一致的叢集管理視角。
G-REX 的核心能力包括:
- 多櫃、多設備的即時監控與可視化
- 作為上層叢集管理 (GPM)與調度系統的重要資料來源
- 支援 Modbus、Redfish、Rest API 等通訊協定與 API 整合
- 可納管In-Rack、In-Row、Sidecar CDU 與 RDHx 等多種設備
以生產力為核心的整合,才是 AI 時代的最佳解答
在 AI 時代,伺服器即為最重要的生產力工具。唯有將運算、冷卻與管理整合成一個可擴展、能管理的系統,企業才能以更低門檻導入更可控的能耗,穩定推動 AI 工廠落地。 技嘉以 DLC 伺服器為起點,延伸至 GIGAPOD 的叢集架構,再透過 G-REX 串接 OT × IT 的管理世界,提供的不只是硬體,而是一條從算力部署到長期維運的完整路徑,讓 AI 生產力真正成為可規模化、可持續的競爭優勢。
GIGAPOD 液冷機櫃配置
GIGAPOD AIGIGAPOD HPC
| 支援GPU | 伺服器型號 | 單一機櫃系統數量 | 機櫃高度 | 每SU機櫃數量* | 每機櫃功耗 | 每機櫃PDU | CDU |
|---|---|---|---|---|---|---|---|
| NVIDIA GB300 NVL72 | DLA2-CB3 | 18 | 48U | 16+8 | 140kW | 6 x 63A | In-Rack |
| In-Row | |||||||
| NVIDIA GB200 NVL72 | DLA2-CB0 | 18 | 48U | 16+10 | 130kW | 6 x 63A | In-Rack |
| In-Row | |||||||
| NVIDIA HGX B300 | G4L4-SD3-LAX7 G4L4-ZD3-LAX7 | 8 | 42U | 9+4 | 109kW | 6 x 63A 2 x 125A | In-Rack |
| 9+3 | In-Row | ||||||
| TO46-SD3-LA07 | 44OU | 9+4 | 90kW | 6 x 63A | In-Rack | ||
| 9+3 | In-Row | ||||||
| AMD Instinct MI355X | G4L3-ZX1-LAT4 | 8 | 48U | 4+1 | 120kW | 4 x 100A | In-Rack |
| In-Row | |||||||
| NVIDIA HGX B200 | 8 | 42U | 4+1 | 103kW | 4 x 100A | In-Rack | |
| In-Row | |||||||
| AMD Instinct MI325X | G4L3-ZX1-LAX2 | 8 | 48U | 4+1 | 110kW | 4 x 100A | In-Rack |
| In-Row | |||||||
| NVIDIA HGX H200 | G593-SD1-LAX3 G593-ZD1-LAX3 | 8 | 48U | 4+1 | 85kW | 4 x 63A | In-Rack |
| In-Row | |||||||
| G4L3-SD1-LAX3 G4L3-ZD1-LAX3 | 42U | 80kW | In-Rack | ||||
| In-Row | |||||||
| AMD Instinct MI300X | G593-SX1-LAX1 G593-ZX1-LAX1 | 8 | 48U | 4+1 | 85kW | 4 x 63A | In-Rack |
| In-Row | |||||||
| G4L3-ZX1-LAX1 | 90kW | 4 x 100A | In-Rack | ||||
| In-Row |
*運算機櫃數量 + 管理機櫃數量