性能與效率全方位提升
基於在加速器設計方面的豐富經驗以及在微架構和軟體開發領域的專業知識,Intel 開發了第三代Gaudi AI加速器 – Intel® Gaudi® 3,實現了突破性的性能和效率。Intel® Gaudi® 3 AI 加速器達到了可與產業領導者相媲美的競爭力,同時提供使用者在乎的擴充靈活性需求。Intel® Gaudi® 3 AI 加速器高度重視採用業界標準 Ethernet 網路和開放式系統架構,為真實世界對 AI 的需求設計,使企業能夠靈活擴展並面對未來AI持續演進的挑戰。

採用搭載 Intel Gaudi 3 AI 加速器的技嘉伺服器擴大AI應用規模
為了在效能、效率、穩定性和擴展性之間達到絕佳平衡,技嘉推出多款支援加速器的伺服器產品,以因應人工智慧時代,需要GPU強大算力的各種應用場景。針對此款搭載 Intel® Gaudi® 3 AI 加速器的G系列伺服器新成員,其擁有8U機箱空間,提供優化的散熱能力藉此充分釋放運算效能。這也是技嘉首款採用8U機身設計的氣冷解方案伺服器,可無縫部署於標準氣冷基礎架構資料中心。


技嘉最佳化且經過驗證的 – GIGAPOD 人工智慧資料中心解決方案亦為以 Ethernet 網路為核心的可擴充解決方案;支援最新的 Intel® Gaudi® 3 AI 加速器伺服器產品,由於其採開放式軟體與業界標準 Ethernet 網路,在佈署時可大量減少驗證的前置作業時程。於 GIGAPOD 資料中心解決方案中,單一機櫃將配置四台搭載 Intel® Gaudi® 3 AI 加速器伺服器以及後門熱交換器(RDHx),提供最高密度的算力與最佳化的空間部署。
想了解有關 GIGAPOD 的更多信息,請參閱:GIGAPOD 整合式人工智慧資料中心解决方案
專為真實世界對 AI 的需求設計
輕鬆採用
輕鬆啟用新模型或轉移現有代碼至Intel Gaudi軟體,專為提供生成式 AI 效能、效率而設計,提升開發者的使用便利性與生產力
輕鬆擴充
使用已擁有的網路基礎架構,24 個 200 Gigabit 乙太網路(RoCE)連接埠整合至 Intel Gaudi 3 AI 加速器,即使是最大、最複雜的部署也能以具成本效益的方式進行擴展。
靈活且強大的運算能力
由兩個互連晶片與以 8 個矩陣乘法引擎 (MME) 和 64 Tensor處理器核心 (TPC)所組成,可於各式工作負載中提供最佳效能。
高效記憶體密集型運算
內建128GB HBM和96MB的L2快取,有效解決AI訓練和推理工作中常見記憶體瓶頸,加速大型語言模型(LLM)記憶體密集型應用。
Intel Gaudi 3 AI 加速器規格
Model | Intel® Gaudi® 3 Accelerator |
---|---|
BF16/FP8 MME TFOPs | 1835 |
BF16 Vector TFLOPs | 28.7 |
MME Units | 8 |
TPC Units | 64 |
HBM Capacity | 128 GB |
HBM Bandwidth | 3.7 TB/s |
On-die SRAM Capacity | 96 MB |
On-die SRAM Bandwidth | 12.8 TB/s |
Networking | 1200 GB/s bidirectional |
Host Interface | PCIe Gen5 x16 |
Media | 14 Decoders |