AIDC (AI Data Center)
AI 資料中心
AIDC (AI 資料中心) 是什麼？
AIDC 即 AI 資料中心，全稱為 AI Data Center，是專門為人工智慧工作負載所設計的資料中心，主要用於 AI 模型訓練、微調、推論，以及生成式 AI、代理型 AI 等不同應用。
AIDC 的核心並非單一運算元件，而是依據不同 AI 工作負載，整合 CPU、GPU 與其他加速器，以及記憶體、儲存、網路、電力、冷卻和管理軟體等基礎設施。從大規模模型訓練、即時推論，到需要持續進行推理、資料存取與工具調用的代理型 AI，各類應用對運算資源與系統架構都有不同需求。
因此，相較於以企業 IT、資料庫與虛擬化等通用工作負載為主的傳統資料中心，AIDC 更強調高密度運算、高速資料傳輸，以及跨運算、儲存、網路與能源系統的協同設計，使整體基礎設施能依照 AI 工作負載有效配置資源並持續擴充。產業也常以「AI Factory（AI 工廠）」描述這類將資料與運算資源轉化為 AI 服務與應用的基礎建設。
為什麼需要 AIDC?
AI 模型的規模與運算方式正在快速改變資料中心的基礎設施設計。
過去生成式 AI 多以單次 Prompt 與 Response 為主，而隨著 Reasoning AI 與 Agentic AI 發展，AI 系統可能需要進行多步推理、呼叫工具、甚至與其他 AI Agent 協作並長時間持續運作。這代表 AI 運算需求正從單次問答，延伸至更複雜且自動化的工作負載。
不同 AI 應用對運算、記憶體、儲存與網路資源的需求也不盡相同，使資料中心必須具備更靈活的資源配置與擴充能力，以支援持續增加的 AI 運算需求。 McKinsey 估計，到 2030 年，全球資料中心累計所需資本支出可能接近 7 兆美元，其中 AI 運算需求是主要推動因素之一。
AIDC 面臨的挑戰?
AI 叢集規模與功率密度不斷提升，伴隨而來的是更高的供電與散熱需求，「電力」也逐漸成為限制 AIDC 擴張的重要因素。 Deloitte 預估，美國 AI 資料中心的電力需求可能從 2024 年約 4 GW，增加至 2035 年約 123 GW，成長超過 30 倍。
在電力與基礎設施資源有限的情況下，AIDC 的重點也不再只是追求 GPU 數量或更高階的硬體規格，而是如何提升整體系統效率，在相同資源條件下完成更多 AI 工作負載，並降低營運成本。
以生成式 AI 推論為例，Tokens per Watt 可用來衡量每單位電力能產生多少 Token，而 Cost per Million Tokens 則反映產生每百萬個 Token 所需要的成本。這些指標能進一步指出運算資源、網路、記憶體、軟體最佳化、能源效率與系統利用率共同作用下的實際成效。
技嘉的特色
技嘉是 AI 解決方案與資料中心基礎建設服務供應商，協助客戶依據不同 AI 工作負載與部署需求，打造專屬的 AIDC。透過整合運算、網路、電力、冷卻與管理軟體，技嘉提供完整的軟硬體架構，協助企業將既有 IT 基礎建設升級為具備高度擴充能力的 AI 運算平台。
GIGAPOD 解決方案採用高速互連架構，將大量 CPU、GPU或 AI 加速器整合為高效能運算叢集，支援大規模平行運算與 AI 工作負載，並支援氣冷與液冷方案，協助客戶在效能、能源效率與整體持有成本之間取得平衡。
從單一伺服器、運算叢集到機櫃級與資料中心級部署，技嘉提供完整的 AIDC 解決方案，協助企業加速建置符合自身需求的 AI 工廠，為下一階段的 AI 應用與規模化部署做好準備。
