GIGABYTE AI 工廠解決方案 - GIGABYTE 技嘉科技

所有數據，都蘊含 AI 潛力

AI 工廠 (AI factory) 是專為組織量身打造的專業級 AI 基礎建設，能將大數據改造成潛力無窮的 AI 發明，增強組織競爭力或開創新財源。技嘉是 AI 解決方案與資料中心基礎建設服務供應商，致力於幫助客戶打造專屬的 AI 工廠，吻合使用需求的軟硬體組合能將既有的 IT 架構升級成為智慧成長引擎。而立足台灣，由技嘉設計建造的 GIGABYTE AI Factory Accelerator (GAIFA)，則可加速系統測試、驗證與部署流程，協助全球客戶順利導入 AI 工廠架構。歡迎聯繫技嘉，創造你的 AI 工廠！

代理式 AI 與數位員工

AI 代理人能掌控數據驅動的多模態人工智慧架構，自動完成人類指派的任務。

實體 AI：機器人與自動化

預測性維護系統、品質控管系統和可獨立作業的機器人幫手，能和人類共創更美好的未來。

數位孿生和 HPC 電腦模擬

在研發階段導入更準確、預測性更高的電腦模擬，有助於提升工作效率，同時縮短產品上市時程。

產品研發與內容創作

熟悉企業策略及商業目標的生成式 AI 工具，能協助發想和開發新產品，並且執行行銷計畫。

主掌 GIGAPOD，激發你的人工智慧成長潛能

AI 工廠的算力來自高可擴充性的超算叢集，利用專為深度學習與 AI 訓練所設計的晶片將大數據轉變成 AI 詞元 (token)，用其開創新型 AI 工具。技嘉的 GIGAPOD 解決方案採用極速通訊互聯技術，將大量的 GPU 加速器連結形成統一單位的強大運算叢集，實現規模化平行運算，發揮突破性的 AI 效能。技嘉推出多選擇性的硬體配置，用戶可挑選 AMD Instinct™、Intel® Gaudi® 或 NVIDIA HGX™ 運算模組，亦可搭配氣冷或液冷方案，達到超乎預期的效率與投報率。GIGAPOD 搭載技嘉 GPU 協同運算伺服器和中央控管伺服器，追加整合冷卻液、電源分配裝置的中介管理技術 G-REX，以及提供資料中心基礎建設管理 (DCIM) 和工作負載排程等多項加值服務的全堆疊軟體套件 GPM。客戶亦可導入以機櫃級電力架構為核心的 GIGAPOD Rack Scale 產品組合，驅動 AI 運算基礎架構的全面升級。

引進 GIGAPOD，啟動你的 AI 轉型

氣冷配置直接液體冷卻配置

*運算機櫃數量 + 管理機櫃數量

支援 GPU	伺服器高度	每機櫃功耗	每 SU 機櫃數量*	每機櫃 PDU
NVIDIA HGX™ B300	8U	70 kW / 66 kW	8 + 2 / 8 + 1	8 x 63A / 4 x 63A
NVIDIA HGX™ B200	8U / 8OU	70 kW / 54 kW	8 + 1	8 x 63A / 4 x 63A
NVIDIA HGX™ H200	8U	58 kW	8 + 1	4 x 63A
NVIDIA RTX PRO™ 6000 Blackwell Edition	4U	80 kW	4 + 1	4 x 63A
AMD Instinct™ MI350 Series	8U	70 kW	8 + 1	4 x 63A
AMD Instinct™ MI300 Series	5U / 8U	50kW - 100kW	4 + 1 / 8 + 1	2 x 100A / 4 x 63A
Intel® Gaudi® 3	8U	62kW	8 + 1	4 x 63A

支援 GPU	伺服器高度	每機櫃功耗	每 SU 機櫃數量*	每機櫃 PDU	CDU
NVIDIA GB300	1OU	140kW	16 + 8	6 x 63A	In-Row / In-Rack
NVIDIA GB200	1OU	130kW	16 + 10	6 x 63A	In-Row / In-Rack
NVIDIA HGX™ B300	4U / 4OU	90kW / 109kW	9 + 3 / 9 + 4	6 x 63A / 2 x 125A	In-Row / In-Rack
NVIDIA HGX™ B200	4U	103kW	4 + 1	4 x 100A	In-Row / In-Rack
NVIDIA HGX™ H200	4U	80kW	4 + 1	4 x 63A	In-Row / In-Rack
AMD Instinct™ MI350 Series	4U	120kW	4 + 1	4 x 100A	In-Row / In-Rack
AMD Instinct™ MI300 Series	4U	90kW / 110kW	4 + 1	4 x 100A	In-Row / In-Rack

Rubin & Blackwell：專為 AI 推理時代而生

進入 AI 代理與推理時代，企業需要採用高可擴充性的 AI 運算平台，加速處理參數規模劇增的 AI 模型開發需求。技嘉推薦使用 NVIDIA Vera Rubin NVL72 或 GB300 NVL72 機櫃級解決方案，全液冷設計的機櫃級超級電腦透過高吞吐資料傳輸技術結合專為 AI 而生的先進處理器產品，全力推進智慧推理、自主決策能力與可擴展 AI 基礎架構的部署。

圖中 GB300 NVL72 搭配 36 顆 Arm® 架構的 NVIDIA Grace™ CPU 與 72 顆 NVIDIA Blackwell Ultra GPU，並結合 NVIDIA ConnectX®-8 SuperNIC™ 與 NVIDIA Quantum-X800 InfiniBand 或 Spectrum™-X Ethernet，讓 AI 模型在大規模應用中更快產出結果，實現推理型 AI 的應用落地。

導入 NVIDIA，擴展你的 AI 版圖

1 管理交換器

2 x 帶外管理交換機
1 x 跨機櫃 OS 交換機（選配）

2 3 x 1U 33kW 電源模組托盤

3 10 x 運算節點

1U XN15-CB0-LA01

4 9 x NVIDIA NVLink™ 交換器托盤

1U NVLink 交換器托盤
144 x NVLink 連接埠
第五代 NVLink 互連技術，總頻寬可達每秒 1.8 TB

5 8 x 運算節點

1U XN15-CB0-LA01

6 3 x 1U 33kW 電源模組托盤

7 相容於 in-rack 或 in-row 冷卻液分配器

XN15-CB0-LA01 運算節點

2 x NVIDIA GB300 Grace™ Blackwell Ultra 超級晶片
4 x 279GB HBM3E GPU 記憶體
2 x 480GB LPDDR5X CPU 記憶體
8 x E1.S Gen5 NVMe SSD 硬碟
4 x NVIDIA ConnectX®-8 SuperNIC™ 800 Gb/s OSFP 連接埠
1 x NVIDIA® BlueField®-3 資料處理器

NVIDIA GB300 NVL72：專為 AI 推理時代而生

運用大數據完成 AI 模型訓練之後的下一階段，就是利用 AI 模型開創嶄新的智慧工具，部署於組織內部或是對外銷售。AI 產品的用戶數量非常龐大，須採用高可擴充性的 AI 推論平台才能同時服務眾多使用者，推薦購入 NVIDIA GB300 NVL72 機櫃級解決方案，運用全液冷設計將 72 顆 NVIDIA Blackwell Ultra GPU 與 36 顆 Arm® 架構的 NVIDIA Grace™ CPU 整合於單一平台，專為測試階段推論擴展 (test-time scaling inference) 而優化。在 AI 工廠部署上，NVIDIA GB300 NVL72 搭配 NVIDIA Quantum-X800 InfiniBand 或 Spectrum™-X Ethernet，並結合 NVIDIA ConnectX®-8 SuperNIC™，可端出比 NVIDIA Hopper™ 平台高出 50 倍的推論效能，讓 AI 模型在大規模應用中更快產出結果，實現生成式 AI 與智慧應用的落地。

導入 Blackwell，擴展你的 AI 版圖

以客戶需求為核心設計的模組化 AI 系統

技嘉 AI 伺服器產品線齊全，能協助不同性質、不同規模的組織實現前瞻性 AI 願景。欲導入 NVIDIA Rubin 或 Blackwell 晶片架構的企業級用戶，除了 GIGAPOD 之外還可選用技嘉 NVIDIA HGX™ 系列伺服器，或是搭載氣冷或液冷散熱系統的 NVIDIA MGX™ 架構伺服器，此系列產品最多可配置八張 PCIe 介面的 NVIDIA RTX PRO™ 6000 Blackwell Server Edition 加速卡，執行 AI 代理，微調 (fine-tune) 大型語言模型 LLM 或完成 HPC 電腦模擬等各種複雜任務。技嘉還推出運算密度極高的刀鋒伺服器，支援 AI 開發與應用的通用型機架伺服器，還有助你擴展 AI 基礎建設布局的工作站產品，在 AI 生命週期每一環節都能導入合乎需求的運算利器。

精選超算系統，完善你的 AI 布局

XL44-SX2-AAS1 with RTX PRO™ 6000 Blackwell Server Edition GPUs

NVIDIA RTX PRO™ 伺服器搭載 ConnectX®-8 SuperNIC 交換器
搭載 8 張 NVIDIA RTX PRO™ 6000 Blackwell 伺服器版本 GPU
搭載 1 張 NVIDIA BlueField®-3 DPU
板載 400Gb/s InfiniBand/Ethernet QSFP 埠搭配 PCIe Gen6 交換器，實現 GPU 對 GPU 最高效能
雙 Intel® Xeon® 6700/6500 系列處理器
8-通道 DDR5 RDIMM/MRDIMM, 32 x DIMMs
2 x 10Gb/s 網路埠 (Intel® X710-AT2)
8 x 2.5" Gen5 NVMe 熱插拔硬碟槽
2 x M.2 插槽 (PCIe Gen4 x2)
3+1 3200W 80 PLUS 鈦金級冗餘電源供應器

探索 XL44-SX2-AAS1

攜手技嘉，翻新基礎設施架構

一站式資料中心服務，加速部署 AI 基礎設施

技嘉以專業技術實力將解決方案推進至 L12 等級的資料中心服務，整合 AI 伺服器及各式軟硬體與系統架構，提供一站式資料中心建置服務。從前期諮詢到後續維運，全面簡化部署流程、提升散熱效率，協助資料中心快速導入及應用，實現高效擴展，讓資料中心的部署更加輕鬆無負擔。我們的服務內容包含：

專案諮詢與評估
資料中心規劃與平面圖配置
機櫃與伺服器的配置、設計與安裝
佈線與 IT 環境建造
供電與溫控設定
全設施部署與驗證

攜手技嘉建造資料中心

GAIFA: GIGABYTE AI Factory Accelerator

為支援 AI 推理時代的運算需求，技嘉打造「GAIFA（GIGABYTE AI Factory Accelerator）」集中式 AI 運算樞紐，支援 AI 工廠的大規模建置與最佳化運作。GAIFA 整合工程技術與資料中心基礎架構能力，提供完整的 AI 基礎建設全堆疊解決方案，包括 NVIDIA AI 基礎建設、NVIDIA Quantum-X800 InfiniBand 與 Spectrum-X 乙太網路，以及搭配 NVIDIA AI Enterprise 軟體平台的技嘉管理與基礎架構軟體 GPM。立足台灣的 GAIFA 將加速系統測試、驗證與部署流程，協助全球客戶更快導入 AI 工廠。

聯繫我們

GADU: GIGABYTE Accelerated Deployment Unit

技嘉新發表的 GIGABYTE Accelerated Deployment Unit (GADU) 是模組化資料中心的全新典範，重新詮釋快速布建、高度客製化的整合型 AI 解決方案。將 IT 設備安裝於貨櫃內，並透過模組化的供電與冷卻系統輔助營運，讓 GADU 實現標準化及可擴展的機動型 AI 基礎架構，在不同使用環境獻出超算力。歡迎洽詢技嘉，探索 GADU 能為你的 AI 策略帶來哪些突破！

聯繫我們

加速布建

採用預製模組可大幅縮短資料中心建置時間，使 AI 轉型效率提升高達四倍。

高度客製

模組化資料中心可依使用需求進行客製，亦可增設節點進行水平或垂直擴充。

敏捷部署

貨櫃環境保護 IT 設備穩定運作不受外界干擾，助使用者推廣算力至網路邊緣。

成就頂尖算力的效能強化工具

先進解熱科技，促進永續性綠色運算

直接液體冷卻 (DLC) 和浸沒式冷卻系統能釋放處理器的最高算力，同時也能減少碳排並改善電力使用效率 (PUE)。AI 工廠集結前沿技術推進組織性的智慧轉型，建議導入技嘉先進冷卻方案來「助攻」，不僅能優化伺服器的系統運作，還能提升機櫃級解決方案與資料中心基礎建設的能源效率和永續力。

技嘉能幫助客戶進行氣冷設備的硬體升級，也能協助引進散熱效果更佳、功耗更低的液冷解決方案，從根本改善資料中心的電力需求與能源效率，減低總體擁有成本 (TCO) 並減輕 AI 工廠的碳足跡，加強組織整體的永續經營能力。

了解更多

AI & HPC 工作必備的全堆疊軟體

技嘉為 AI 工廠獨門開發的全堆疊軟體產品 GIGABYTE POD Manager (GPM)，可協助進行資料中心基礎建設管理，塑造理想的 AI & HPC 工作環境。GPM 有如中控室，可監控所有軟硬體資源，並透過遠端監測讓使用者一覽各節點的運作狀況。

包裝在 GPM 工作負載管理中的 AIOps 平台，可針對多元使用情境架設智能環境，伴開發者從訓練到推論，一步步走過 AI 產品的生命週期。使用技嘉伺服器產品，並搭配 GPM 軟體平台的 AI 工廠經營者，將發現自己的競爭力大幅提升，更快達成指標性的 AI 里程碑。

了解更多

技嘉 AI 架構完美結合 NVIDIA AI Enterprise

技嘉全堆疊軟體產品 GPM 整合 NVIDIA 雲原生軟體平台 NVIDIA AI Enterprise (NVAIE)，提供穩定且經最佳化的開發框架，全面升級 AI 工廠的運算效率。透過 Run:ai 與 NVIDIA Mission Control 的運用，達成自動化資源調度與全域監控，確保技嘉 GIGAPOD 等 GPU 叢集發揮最大效能，並配合 vGPU 虛擬化技術，進一步實現靈活的多租戶資源共享。技嘉軟硬體整合技術將複雜的硬體管理轉化為高效的軟體定義服務，協助企業精準掌控從模型訓練到推論部署各階段的關鍵性任務。

了解更多

運用 CXL 記憶體池，點燃 AI 工廠的產能革命

隨著 AI 模型的規模與複雜度持續攀升，AI 工廠開始採用能協助優化資源、加速傳輸，並促進永續發展的創新技術。CXL（快速運算連結 Compute Express Link）能解鎖記憶體的敏捷度，創建一套開放標準互連協議，允許 CPU、GPU 和其他加速器共享同一塊記憶體池 (memory pool)，藉此解決 AI 工廠的記憶體瓶頸，快速處理巨量數據。

技嘉 G494-SB4-AAP2 支援 CXL 擴充卡，可提升處理器和加速卡之間的數據交換效率，實現資源共享與超高效能，通用型機架式伺服器 R284-S91-AAJ2 則支援 CXL 記憶體擴充模組，進一步增進 AI 工廠的整體算力。

了解更多

進階平行檔案系統與快閃儲存解決方案

針對 AI 工廠海量數據的吞吐需求，技嘉提供 WEKA / VAST Data 等先進平行檔案系統選擇，企業可借力 WEKA 的分散式架構與超低延遲特性，釋放 all-flash 全快閃儲存的無窮潛力，消除可能延誤 AI 訓練時程的頻寬瓶頸；亦可選擇 VAST Data 革命性的非結構化數據管理架構，在「千萬兆級運算」(petascale computing) 規模下實現極致的擴展性與數據可靠性。技嘉憑藉對多項前沿科技的整合實力，針對不同應用場景與運算工作提供最適配的 AI 儲存解決方案，供客戶選擇採用。

WEKA 解決方案

VAST Data 解決方案

為何指標性客戶指定使用 GIGABYTE

極致運算效能

技嘉 AI 工廠解決方案經過嚴格測試，能輕鬆處理最苛刻的工作負載，技嘉伺服器經業界領導級軟硬體廠商認證，支援客戶端軟硬體無縫整合，提供最佳的性能與穩定性。

高效散熱技術

技嘉設計氣冷、直接液冷和浸沒式液冷解決方案，有效帶走 AI 伺服器與基礎建設產生的廢熱，確保 AI 工廠在運算高峰維持卓越表現，持續推進組織的智慧轉型。

選擇性豐富的專業配置

技嘉伺服器涵蓋 AMD 和 Intel 的 x86 架構晶片，以及 Ampere 和 NVIDIA 的 ARM 架構晶片，提供多款 AI 訓練與推論伺服器的選擇，並可搭配 DPU、NPU 等特殊規格處理器，滿足使用者的各項需求。

能實現敏捷部署的短上市週期

技嘉與產業領導廠商密切合作，全面因應快速成長的運算需求，透過模組化架構降低成本，簡化設計流程並實現彈性客製的可能性，讓用戶能即時受益於最新一代的運算產品及效能優勢。

適應多元場景的靈活擴充性

技嘉伺服器產品為滿足 AI 工廠用戶與日俱增的基礎建設升級需求，配備充足的擴充插槽以強化節點間的連結效能，讓新的加速器、運算節點或叢集能在最短時間內完成部署，開始產生價值。

全生命週期的全盤支援服務

技嘉與生態系合作夥伴密切合作，第一時間回應客戶需求並全力配合專案時程。技嘉在全球設有據點，專業團隊全年無休提供諮詢服務，確保 AI 工廠順利穩定運作，有感提升客戶的生產力與競爭力。

生態系合作夥伴

AI 工廠常見問題

什麼是 AI 工廠？

AI 工廠是專業型 AI 基礎建設，可能是一座機房或資料中心，專門將組織的大數據轉變成有價值的客製化 AI 產品。人工智慧席捲全球的當下，業界領袖爭先恐後搭建先進的 AI 工廠，用海量數據創造新型 AI 發明。必須留意的是，AI 工廠不等於自動化的「無人工廠」，這不是製造業的生產線，而是任何組織都可能樹立的 IT 建設。AI 工廠能讓本來就存在於資通訊架構中的數據發揮新價值，提升組織成員的工作效率及便利性，開創新的智慧商機。

AI 工廠如何運作？

AI 工廠和資料中心一樣，主要分為運算、儲存與網路三層面，組織的大數據先保存在儲存伺服器上，再透過網路設備傳輸到運算層面的強大 AI 伺服器，利用專為 AI 訓練所設計的 CPU 與 GPU 晶片產出大型語言模型 (LLM) 等各種組織專屬的 AI 模型。這些 AI 模型可以用來開發客製化的 AI 工具，應用於組織內部提升工作效率及生產力，或是對外銷售，開創新的營收來源。開創 AI 產品的過程又稱為「資料飛輪」(data flywheel)，因為組織能利用 AI 工具部署後產生的數據持續改良產品，讓 AI 發明愈來愈貼切使用者的需求。長期下來，AI 工廠產出的 AI 品質提升，能完成的工作項目愈來愈多，AI 工廠就如由算力推動的成長引擎，可協助決定組織的經營策略與營運目標。

擁有 AI 工廠能帶來什麼優勢？

二十一世紀，幾乎任何組織都擁有自己的 IT 建設，絕大多數的組織成員也使用 AI 工具輔助工作。AI 工廠等於是將 IT 架構內的資訊轉變成 AI 模型，再利用這些模型開發符合組織需求的 AI 工具。令人興奮的是，如果創造出的 AI 工具真正具有突破性，甚至可以對外銷售，為組織添加新興財源。相較之下，沒有導入 AI 工廠的其他組織必須購買競業搶先發明的 AI 工具，長久下來這個落差將會持續遽增，初期錯失的商機最後可能變成組織的營運危機。

建造 AI 工廠有哪些挑戰？

建造 AI 工廠是一筆重大的投資，必須確保所購入的軟硬體設備真正符合實際需求，過度投資可能影響投報率，投資不足卻又可能造成瓶頸，延遲 AI 產品的開發與部署。另外要擔心的是，組織的 IT 部門可能不熟悉人工智慧，不知如何推動組織性的智慧轉型。因此，想建造 AI 工廠或升級 AI 基礎建設的客戶，應找尋知名度與專業度高的信賴合作夥伴──就如專門從事 AI 工廠建造與相關服務的技嘉科技 GIGABYTE。技嘉能協助你從零開始規劃 AI 工廠，不僅可提供軟硬體解決方案的安裝與驗證，還可提供專案諮詢與場地規劃等額外服務。任何規模、任何屬性的組織都能在技嘉找到合適的 AI 產品，技嘉在全球設有據點，專業團隊全年無休隨時準備給予支援。如果希望了解技嘉能如何幫你設計與建造專屬於你的 AI 工廠，歡迎和我們聯絡，親身體驗為何全世界的業界領袖都非常肯定技嘉的 AI 工廠解決方案與專業服務。