AI 基礎建設

AI 基礎建設是專為人工智慧應用所打造的高效能運算設施，負責支援 AI 模型訓練與推論的密集運算任務。在組成上，AI 基礎建設與傳統資料中心相似，都包含伺服器、儲存設備、網路交換器，但其背後的設計邏輯與技術規格則大不相同。傳統資料中心通常以 CPU 為主，GPU 為輔，適合一般企業 IT 作業，例如資料庫、虛擬機、網站服務等；而 AI 基礎建設則是為了支援 AI 模型需要的大量平行運算，選擇以 GPU 為核心，並搭配 AI 加速器。

這樣的高密度架構不只在運算層面帶來挑戰，對儲存讀寫速率、網路傳輸速度，甚至整體能源消耗也提出更高需求，遠超傳統資料中心的承載能力。因此，AI 基礎建設多會採用如直接液冷、浸沒式冷卻等進階散熱技術，並在機房設計上預留更多空間以容納 GPU 機櫃與冷卻設備。

簡言之，AI 基礎建設是為了解決人工智慧指數級增長的算力需求而誕生的新一代設施，它不僅是傳統資料中心的升級版，更是推動企業邁向智慧化未來的「AI 工廠」。

延伸閱讀 : 資料中心轉型 AI Infrastructure ，迎接 AI 工廠時代來臨!

從生成式 AI、AI 代理（AI Agents）到實體人工智慧（Physical AI，如機器人），AI 的應用正橫跨軟體與硬體世界，快速改變我們工作與生活的方式。不論是訓練大型語言模型，或是讓 AI 代理持續學習並優化決策邏輯，這些應用背後無一不仰賴龐大的算力支持！唯有專為 AI 工作負載設計的 AI 基礎建設，才能夠支撐 AI 模型的訓練與推論執行。

根據顧問公司 McKinsey 的預測，具備 AI 準備能力的資料中心容量需求將以每年平均 33% 的速度成長。這代表到 2030 年，約有 70% 的整體資料中心容量需求將來自能夠承載先進的 AI 工作負載。其中，目前成長最快的進階 AI 應用——生成式 AI，預計將占整體需求的約 40%。以上數據反映出人們對 AI 能力的依賴日益加深，也說明了建立專門支援 AI 的基礎建設，將是企業重中之重的首要任務。

技嘉提供企業一條龍的 AI 基礎建設建置服務，從前期諮詢、設計、部署、驗收至後續維運，整合硬體、軟體到冷卻系統的每一個環節。旗下的 GIGAPOD 叢集運算平台，可從一台 GPU 伺服器，擴展至八個機櫃、32 個 GPU 節點，共計 256 顆 GPU，能應對大規模的人工智慧應用到複雜的科學研究，與其搭配的智慧管理軟體 GPM (GIGABYTE POD Manager)，能即時監控硬體狀態與資源使用率，並根據實際需求動態分配運算資源，有效提升 AI 基礎建設的管理效率。除此之外，技嘉投注於散熱方案的開發，擁有先進且全面的液冷技術導入經驗，為企業實現節能與效能的同步升級。

引用資料:
1. McKinsey & Company, AI power: Expanding data center capacity to meet growing demand