升級 AI 基礎建設 開啟新型 AI 工廠
Mobile Banner Image

升級 AI 基礎建設
開啟新型 AI 工廠

所有數據,都蘊含 AI 潛力

AI 工廠 (AI factory) 是專為單一組織量身打造的專業級 AI 基礎建設,能將大數據改造成潛力無窮的 AI 發明,用來增強競爭力或是開創新興財源。技嘉 GIGABYTE 是 AI 解決方案與資料中心基礎建設服務供應商,致力於幫助跨領域、跨屬性的私人企業或公家機關打造 AI 工廠,全球客戶信賴肯定的技嘉軟硬體組合能將既有的 IT 架構升級成為爆發力十足的智慧成長引擎。AI 賽局的致勝關鍵,就是把握前所未見的智慧契機,歡迎聯繫技嘉,建造專屬於你的 AI 工廠!
代理式 AI 與數位員工

代理式 AI 與數位員工

AI 代理人能掌控數據驅動的多模態人工智慧架構,自動完成人類指派的任務。
物理 AI:機器人與自動化

物理 AI:機器人與自動化

預測性維護系統、品質控管系統和可獨立作業的機器人幫手,能和人類共創更美好的未來。
數位孿生和 HPC 電腦模擬

數位孿生和 HPC 電腦模擬

在研發階段導入更準確、預測性更高的電腦模擬,有助於提升工作效率,同時縮短產品上市時程。
產品研發與內容創作

產品研發與內容創作

熟悉企業策略及商業目標的生成式 AI 工具,能協助發想和開發新產品,並且執行行銷計畫。
AI Factory Mobile Background
·

主掌 GIGAPOD,激發你的人工智慧成長潛能

AI 工廠的算力來自於高可擴充性的超算叢集,利用專為深度學習與 AI 訓練所設計的晶片,將組織大數據快速轉變成 AI 詞元 (token),用其開創新型 AI 工具。技嘉的 GIGAPOD 解決方案採用極速通訊互聯技術,將 256 顆 GPU 連結形成統一單位的強大運算叢集,實現規模化平行運算,發揮突破性的 AI 效能。技嘉提供多選擇性的硬體配置,用戶可挑選 AMD Instinct™、Intel® Gaudi® 或 NVIDIA HGX™ Hopper/Blackwell 運算模組,亦可搭配傳統氣冷或先進液冷散熱設計,達到超乎預期的效率與投報率。GIGAPOD 搭載技嘉 GPU 協同運算伺服器和中央控管伺服器,追加 GPM 全堆疊軟體套件建造優質 AI & HPC 開發環境,客戶能一次享受資料中心基礎建設管理 (DCIM)、工作負載排程、MLOps 與 AIOps 等多種加值服務。

氣冷方案液體冷卻方案

*Compute Racks + 1 Management Rack


GPUs Supported

GPU Server
(Form Factor)

GPU Servers
per Rack

Power Consumption
per Rack

No. of Racks
per SU*

NVIDIA HGX™ B300/B200/H200

AMD Instinct™ MI350X/MI325X/MI300X

8U

4

66kW

8+1 (48U)

NVIDIA HGX™ B200

8OU

4

55kW

8+1 (44OU)

Intel® Gaudi® 3

8U

4

62kW

8+1 (48U)

NVIDIA HGX™ H200

AMD Instinct™ MI300X

5U

8

100kW

4+1 (48U)

NVIDIA HGX™ H200

AMD Instinct™ MI300X

5U

4

50kW

8+1 (42U)

NVIDIA HGX™ H200

AMD Instinct™ MI300X

5U

4

50kW

8+1 (48U)

·

NVIDIA GB300 NVL72:專為 AI 推理時代而生

AI 工具的用戶量龐大,適合採用高可擴充性的 AI 推論平台同步處理需求。技嘉推薦使用 NVIDIA GB300 NVL72 機櫃級解決方案,運用全液冷設計將 72 顆 NVIDIA Blackwell Ultra GPU 與 36 顆 Arm® 架構的 NVIDIA Grace™ CPU 整合於單一平台,專為測試階段推論擴展 (test-time scaling inference) 而優化。 在 AI 工廠部署上,NVIDIA GB300 NVL72 搭配 NVIDIA Quantum-X800 InfiniBand 或 Spectrum™-X Ethernet,並結合 NVIDIA ConnectX®-8 SuperNIC™,可端出比 NVIDIA Hopper™ 平台高出 50 倍的推論效能,讓 AI 模型在大規模應用中更快產出結果,實現生成式 AI 與智慧應用的落地。
AI Factory Spec Layer 1AI Factory Spec Layer 2AI Factory Spec Layer 1AI Factory Spec Layer 2
Lack Mobile Image
1 管理交換器
  • 2 x 帶外管理交換機
  • 1 x 跨機櫃 OS 交換機(選配)
2 3 x 1U 33kW 電源模組托盤
3 10 x 運算節點
  • 1U XN15-CB0-LA01
4 9 x NVIDIA NVLink™ 交換器托盤
  • 1U NVLink 交換器托盤
  • 144 x NVLink 連接埠
  • 第五代 NVLink 互連技術,總頻寬可達每秒 1.8 TB
5 8 x 運算節點
  • 1U XN15-CB0-LA01
6 3 x 1U 33kW 電源模組托盤
7 相容於 in-rack 或 in-row 冷卻液分配器
NVIDIA GB300 NVL72
高速記憶體
60X
vs. NVIDIA HGX H100
HBM 頻寬
20X
vs. NVIDIA HGX H100
網路頻寬
18X
vs. NVIDIA HGX H100
NVIDIA GB300 NVL72 Diagram
XN15-CB0-LA01 運算節點
  • 2 x NVIDIA GB300 Grace™ Blackwell Ultra 超級晶片
  • 4 x 279GB HBM3E GPU 記憶體
  • 2 x 480GB LPDDR5X CPU 記憶體
  • 8 x E1.S Gen5 NVMe SSD 硬碟
  • 4 x NVIDIA ConnectX®-8 SuperNIC™ 800 Gb/s OSFP 連接埠
  • 1 x NVIDIA® BlueField®-3 資料處理器

NVIDIA GB300 NVL72:專為 AI 推理時代而生

運用大數據完成 AI 模型訓練之後的下一階段,就是利用 AI 模型開創嶄新的智慧工具,部署於組織內部或是對外銷售。AI 產品的用戶數量非常龐大,須採用高可擴充性的 AI 推論平台才能同時服務眾多使用者,推薦購入 NVIDIA GB300 NVL72 機櫃級解決方案,運用全液冷設計將 72 顆 NVIDIA Blackwell Ultra GPU 與 36 顆 Arm® 架構的 NVIDIA Grace™ CPU 整合於單一平台,專為測試階段推論擴展 (test-time scaling inference) 而優化。在 AI 工廠部署上,NVIDIA GB300 NVL72 搭配 NVIDIA Quantum-X800 InfiniBand 或 Spectrum™-X Ethernet,並結合 NVIDIA ConnectX®-8 SuperNIC™,可端出比 NVIDIA Hopper™ 平台高出 50 倍的推論效能,讓 AI 模型在大規模應用中更快產出結果,實現生成式 AI 與智慧應用的落地。

以客戶需求為核心設計的模組化 AI 系統

技嘉 AI 伺服器產品線齊全、應用範圍廣泛,能協助不同性質、不同規模的組織實現前瞻性 AI 願景。欲導入 NVIDIA Blackwell 晶片架構的企業級用戶,除了 GIGAPOD 之外還可選用技嘉 NVIDIA HGX™ B300 系列伺服器,或是搭載氣冷或液冷散熱系統的 NVIDIA MGX™ 架構伺服器,此系列產品最多可配置八張 PCIe 介面的 NVIDIA RTX PRO™ 6000 Blackwell Server Edition 加速卡,執行地端 AI 代理、微調 (fine-tune) 大型語言模型 LLM、或是完成 HPC 電腦模擬等各種複雜任務。技嘉不僅提供效能超強的 AI 伺服器,還推出運算密度極高的刀鋒伺服器與高密度伺服器,支援 AI 開發與應用的管理及儲存伺服器,還有小尺寸的邊緣運算伺服器,助你擴展 AI 基礎建設的布局,在 AI 產品生命週期每一環節都能掌握最合乎需求的運算利器。

AI Factory Server Image

XL44-SX2-AAS1 with RTX PRO™ 6000 Blackwell Server Edition GPUs

  • NVIDIA RTX PRO™ 伺服器搭載 ConnectX®-8 SuperNIC 交換器
  • 搭載 8 張 NVIDIA RTX PRO™ 6000 Blackwell 伺服器版本 GPU
  • 搭載 1 張 NVIDIA BlueField®-3 DPU
  • 板載 400Gb/s InfiniBand/Ethernet QSFP 埠搭配 PCIe Gen6 交換器,實現 GPU 對 GPU 最高效能
  • 雙 Intel® Xeon® 6700/6500 系列處理器
  • 8-通道 DDR5 RDIMM/MRDIMM, 32 x DIMMs
  • 2 x 10Gb/s 網路埠 (Intel® X710-AT2)
  • 8 x 2.5" Gen5 NVMe 熱插拔硬碟槽
  • 2 x M.2 插槽 (PCIe Gen4 x2)
  • 3+1 3200W 80 PLUS 鈦金級冗餘電源供應器

成就頂尖算力的效能強化工具

Cooling in AI Factory

先進解熱科技,促進永續性綠色運算

直接液體冷卻 (DLC) 和浸沒式冷卻系統能釋放處理器的最高算力,同時也能減少碳排並改善電力使用效率 (PUE)。AI 工廠集結前沿技術推進組織性的智慧轉型,建議導入技嘉先進冷卻方案來「助攻」,不僅能優化伺服器的系統運作,還能提升機櫃級解決方案與資料中心基礎建設的能源效率和永續力。

技嘉能幫助客戶進行氣冷設備的硬體升級,也能協助引進散熱效果更佳、功耗更低的液冷解決方案,從根本改善資料中心的電力需求與能源效率,減低總體擁有成本 (TCO) 並減輕 AI 工廠的碳足跡,加強組織整體的永續經營能力。

AI Factory Management Software

AI & HPC 工作必備的全堆疊軟體

技嘉為 AI 工廠獨門開發的全堆疊軟體產品 GIGABYTE POD Manager (GPM),可協助進行資料中心基礎建設管理,塑造理想的 AI & HPC 工作環境。GPM 有如中控室,可監控所有軟硬體資源,並透過遠端監測讓使用者一覽各節點的運作狀況。

包裝在 GPM 工作負載管理中的 MLSteam 是技嘉的 AIOps 平台,可針對多元使用情境架設智能環境,伴開發者從訓練到推論,一步步走過 AI 產品的生命週期。使用技嘉伺服器產品,並搭配 GPM 與 MLSteam 軟體平台的 AI 工廠經營者,將發現自己的競爭力大幅提升,更快達成指標性的 AI 里程碑。

Memory Pooling for AI Factory

運用 CXL 記憶體池,點燃 AI 工廠的產能革命

隨著 AI 模型的規模與複雜度持續攀升,AI 工廠開始採用能協助優化資源、加速傳輸,並促進永續發展的創新技術。CXL(快速運算連結 Compute Express Link)能解鎖記憶體的敏捷度,創建一套開放標準互連協議,允許 CPU、GPU 和其他加速器共享同一塊記憶體池 (memory pool),藉此解決 AI 工廠的記憶體瓶頸,快速處理巨量數據。

技嘉 G494-SB4-AAP2 支援 CXL 擴充卡,可提升處理器和加速卡之間的數據交換效率,實現資源共享與超高效能,通用型機架式伺服器 R284-S91-AAJ2 則支援 CXL 記憶體擴充模組,進一步增進 AI 工廠的整體算力。

AI Factory Storage Solution

全快閃陣列固態硬碟,守護高價值的海量數據

AI 工廠的基本工作流程,是將組織的大數據轉變成 AI 智能,這些寶貴的資料可以儲存在技嘉的儲存伺服器產品上,透過高吞吐量、低延遲的資料傳輸技術,確保儲存裝置的效能不會輸給最先進的 AI 處理器。

全快閃陣列 (AFA) 儲存伺服器 S183-SH0-AAV1 採用熱插拔的 NVMe 介面固態硬碟 (SSD),提供使用者更低的延遲、更低的功耗與更高的儲存密度。注重投報率的 AI 工廠經營者可選擇搭配技嘉的 HDD 儲存伺服器同步運行,讓儲存裝置能以超低成本隨同 AI 運算平台同步邁向空前的高效能境界。

為何指標性客戶指定使用 GIGABYTE

Feature Icon

極致運算效能

技嘉 AI 工廠解決方案經過嚴格測試,能輕鬆處理最苛刻的工作負載,技嘉伺服器經業界領導級軟硬體廠商認證,支援客戶端軟硬體無縫整合,提供最佳的性能與穩定性。
Feature Icon

高效散熱技術

技嘉設計氣冷、直接液冷和浸沒式液冷解決方案,有效帶走 AI 伺服器與基礎建設產生的廢熱,確保 AI 工廠在運算高峰維持卓越表現,持續推進組織的智慧轉型。
Feature Icon

選擇性豐富的專業配置

技嘉伺服器涵蓋 AMD 和 Intel 的 x86 架構晶片,以及 Ampere 和 NVIDIA 的 ARM 架構晶片,提供多款 AI 訓練與推論伺服器的選擇,並可搭配 DPU、NPU 等特殊規格處理器,滿足使用者的各項需求。
Feature Icon

能實現敏捷部署的短上市週期

技嘉與產業領導廠商密切合作,全面因應快速成長的運算需求,透過模組化架構降低成本,簡化設計流程並實現彈性客製的可能性,讓用戶能即時受益於最新一代的運算產品及效能優勢。
Feature Icon

適應多元場景的靈活擴充性

技嘉伺服器產品為滿足 AI 工廠用戶與日俱增的基礎建設升級需求,配備充足的擴充插槽以強化節點間的連結效能,讓新的加速器、運算節點或叢集能在最短時間內完成部署,開始產生價值。
Feature Icon

全生命週期的全盤支援服務

技嘉與生態系合作夥伴密切合作,第一時間回應客戶需求並全力配合專案時程。技嘉在全球設有據點,專業團隊全年無休提供諮詢服務,確保 AI 工廠順利穩定運作,有感提升客戶的生產力與競爭力。

生態系合作夥伴

AMD Logo
Broadcom Logo
Castrol Logo
CoolIT system Logo
Intel Logo
nVent Logo
NVIDIA Logo
Schneider Logo
sk-enmove Logo
Submer Logo
UfiSpace Logo
Weka Logo

AI 工廠常見問題

什麼是 AI 工廠?

AI 工廠是專業型 AI 基礎建設,可能是一座機房資料中心,專門將組織的大數據轉變成有價值的客製化 AI 產品。人工智慧席捲全球的當下,業界領袖爭先恐後搭建先進的 AI 工廠,用海量數據創造新型 AI 發明。必須留意的是,AI 工廠不等於自動化的「無人工廠」,這不是製造業的生產線,而是任何組織都可能樹立的 IT 建設。AI 工廠能讓本來就存在於資通訊架構中的數據發揮新價值,提升組織成員的工作效率及便利性,開創新的智慧商機。
AI 工廠和資料中心一樣,主要分為運算、儲存與網路三層面,組織的大數據先保存在儲存伺服器上,再透過網路設備傳輸到運算層面的強大 AI 伺服器,利用專為 AI 訓練所設計的 CPU 與 GPU 晶片產出大型語言模型 (LLM) 等各種組織專屬的 AI 模型。這些 AI 模型可以用來開發客製化的 AI 工具,應用於組織內部提升工作效率及生產力,或是對外銷售,開創新的營收來源。開創 AI 產品的過程又稱為「資料飛輪」(data flywheel),因為組織能利用 AI 工具部署後產生的數據持續改良產品,讓 AI 發明愈來愈貼切使用者的需求。長期下來,AI 工廠產出的 AI 品質提升,能完成的工作項目愈來愈多,AI 工廠就如由算力推動的成長引擎,可協助決定組織的經營策略與營運目標。
二十一世紀,幾乎任何組織都擁有自己的 IT 建設,絕大多數的組織成員也使用 AI 工具輔助工作。AI 工廠等於是將 IT 架構內的資訊轉變成 AI 模型,再利用這些模型開發符合組織需求的 AI 工具。令人興奮的是,如果創造出的 AI 工具真正具有突破性,甚至可以對外銷售,為組織添加新興財源。相較之下,沒有導入 AI 工廠的其他組織必須購買競業搶先發明的 AI 工具,長久下來這個落差將會持續遽增,初期錯失的商機最後可能變成組織的營運危機。
建造 AI 工廠是一筆重大的投資,必須確保所購入的軟硬體設備真正符合實際需求,過度投資可能影響投報率,投資不足卻又可能造成瓶頸,延遲 AI 產品的開發與部署。另外要擔心的是,組織的 IT 部門可能不熟悉人工智慧,不知如何推動組織性的智慧轉型。因此,想建造 AI 工廠或升級 AI 基礎建設的客戶,應找尋知名度與專業度高的信賴合作夥伴──就如專門從事 AI 工廠建造與相關服務的技嘉科技 GIGABYTE。技嘉能協助你從零開始規劃 AI 工廠,不僅可提供軟硬體解決方案的安裝與驗證,還可提供專案諮詢與場地規劃等額外服務。任何規模、任何屬性的組織都能在技嘉找到合適的 AI 產品,技嘉在全球設有據點,專業團隊全年無休隨時準備給予支援。如果希望了解技嘉能如何幫你設計與建造專屬於你的 AI 工廠,歡迎和我們聯絡,親身體驗為何全世界的業界領袖都非常肯定技嘉的 AI 工廠解決方案與專業服務。

學習資源資料庫

資料中心解決方案全面升級,一站式建設服務
Topic

資料中心解決方案全面升級,一站式建設服務

AI伺服器與AI PC解決方案,全面加速人工智慧運算
Topic

AI伺服器與AI PC解決方案,全面加速人工智慧運算

資料中心轉型 AI Infrastructure ,迎接 AI 工廠時代來臨!
Article

資料中心轉型 AI Infrastructure ,迎接 AI 工廠時代來臨!

打造 AI 工廠的記憶體革命 ─ CXL 記憶體池的崛起
Article

打造 AI 工廠的記憶體革命 ─ CXL 記憶體池的崛起

AI 工廠的傳輸革命:高速網路全面進化
Article

AI 工廠的傳輸革命:高速網路全面進化

HPC Ignites : 資料導向思維如何重塑企業 AI 架構
Article

HPC Ignites : 資料導向思維如何重塑企業 AI 架構

聯手技嘉,開創嶄新 AI 契機

洽詢業務