Intel Gaudi 3 | 解決方案 - GIGABYTE 技嘉科技

性能與效率全方位提升

憑藉 Intel 在加速器設計及微架構與軟體技術上的深厚實力，Intel 將 AI 加速能力推向更廣泛的應用領域，提供兩種靈活的部署形式：8-GPU 通用基板模組與傳統雙插槽 PCIe 卡，讓企業可依需求彈性建構最佳化的 AI 基礎架構。

Intel Gaudi 3 平台以高擴展性與高靈活性為設計核心，採用開放式軟體生態系統，針對不同效能、功耗與預算目標進行最佳化，協助企業輕鬆部署從大型 AI 工廠到高度受監管產業的各類 AI 應用。

GIGABYTE 搭載 Intel Gaudi 3 加速器，加速 AI 擴展

針對超大規模 AI 模型的運算需求，Intel Gaudi 3 AI 加速器 OAM 卡（HL-325L）搭配通用基板（HLB-325），可在超大規模雲端運算、叢集及企業環境中提供卓越的 AI 訓練與推論效能。憑藉先進的運算與網路技術，滿足 AI 研究、超大規模運算與雲端應用的多元需求。GIGABYTE 基於 OAM 加速器模組打造 8U伺服器 G893-SG1-AAX1，以優化的散熱設計實現卓越的運算穩定性與效能輸出，為高效能 AI 加速運算提供堅實且靈活的基礎架構。

Intel Gaudi 3 OAM加速器模組

G893-SG1-AAX1

專為企業級 AI 應用設計的 Intel Gaudi 3 PCIe 卡（HL-338），是進行 AI 推論、安全在地部署以及高成本效益 AI 導入的理想選擇。其具備更高的電源效率與採用 PCIe 規格，協助企業在現有架構中高效擴展 AI 能力。GIGABYTE 擁有適用於 PCIe 規格的 2U 與 4U 伺服器產品，可無縫整合至既有基礎架構中，進一步優化機架空間使用並降低營運成本。

Intel Gaudi 3 PCIe

G494-SB0-AAP2

GIGABYTE 已準備就緒，為 Intel Gaudi 3 AI 加速器提供完整的端到端解決方案。從設計到部署，我們的最佳化伺服器平台不僅具備靈活擴展性與高部署效率，更能協助企業及時導入 AI 基礎架構，推動業務持續向前邁進。

專為真實世界對 AI 的需求設計

可擴展的效能

提供強大的算力與記憶體頻寬，從企業級 AI 推論到超大型語言模型（LLMs）皆能輕鬆應對，並可靈活應用於不同規模與產業環境中。

靈活部署

以統一架構設計，提供 OAM 模組與 PCIe 型態選項，能無縫整合至多樣化資料中心環境，達到空間、功耗與效能的最佳平衡。

運算與能效兼具

專為高效能與低能耗的完美平衡而打造，在標準氣冷系統中依然能維持穩定、高效的 AI 加速運算，確保長時間運作下的可靠表現。

即時可用的軟體生態系

支援主流 AI 框架與精度格式（包括 FP8 與 BF16），即時支援主流大型語言模型，讓企業與開發者能更快完成部署、提升開發效率，充分發揮 AI 潛能。

Intel Gaudi 3 AI 加速器規格

產品	HL-325L OAM Mezzanine 卡	HL-338 PCIe 擴充卡
架構	第五代 Tensor 處理器核心
支援資料格式	FP32, BF16, FP16 & FP8 (E4M3 與 E5M2)
MME 單元	8
TPC 單元	64
HBM 容量	128 GB
HBM 頻寬	3.7 TB/s
晶片 SRAM 容量	96 MB
晶片 SRAM 頻寬 (讀/寫)	12.8 / 6.4 TB/s
網路頻寬 (雙向)	1200 GB/s
連接介面	PCIe Gen5 x16
連接介面峰值頻寬	128 GB/s (單向 64 GB/s)
媒體解碼器	14
TDP	900W	600W
外型規格	OCP OAM 2.0 Mezzanine 卡	FHFL 雙槽 PCIe Gen5 x16 卡
系統配置	8 張卡透過 HLB-325 通用基板連接	4 張卡為一組，透過 HLTB-304 連接，或 2 組 4 張卡透過兩塊 HLTB-304 連接*
網路（Scale-up / 卡對卡）	透過 HLB-325 通用基板提供 21 組 200GbE 連線	透過 HLTB-304 頂板提供 18 組 200GbE 連線
網路（Scale-out）	透過 HLB-325 通用基板提供 3 組 200GbE 連線	透過系統 NIC

* HLTB-304 可讓 4 張 HL-338 卡互連，每張卡透過 6 組 200GbE 連線與其他卡相接，共 18 組 200GbE 連線。

應用領域

高效能運算

在高效能運算（HPC）應用中，需依賴數值分析、模擬和運算來解決複雜問題以獲取洞見。雖然傳統上對加速器的依賴較少，但通用圖形處理器（GPGPU）的強大平行運算能力在近年來大幅加速了高效能運算的發展，使得混合配置成為現代超級計算機的一大趨勢。

人工智慧

隨著 AI 的快速普及，從一般應用到快速演進的深度學習，通用圖形處理器（GPGPU）已成為改變產業遊戲規則的重要技術。GPGPU 的平行處理能力使其能夠處理大量數據集和複雜演算法，這對訓練和部署 AI 模型至關重要。因此，人工智慧（AI）已成為使各產業領域於生產、營利、工作效率更快、更“智慧”的關鍵，並且以最有效的方式實現目標。

數據分析

在數據密集型應用中，例如大數據和電腦模擬。工作負載高度依賴通用圖形處理器（GPGPU）平行運算處理、低延遲和高頻寬來挖掘數據和大規模數據處理。通用圖形處理器（GPGPU）同時處理大量數據的能力，不僅加速海量數據集工作負載，亦能提供準確且及時見解，尤其在金融、醫療和科學研究等領域更仰賴資料的處理與應用。