Neocloud
新型 AI 雲端
Neocloud 是什麼?
Neocloud 是專為人工智慧(AI)與高效能運算(HPC)工作負載打造的新型雲端服務。相較於涵蓋各類企業 IT 應用的傳統雲端平台,Neocloud 更聚焦於 GPU 等加速運算資源,並搭配高速網路、高效能儲存,以及適合大規模 AI 運算的基礎建設。
Neocloud 的興起與生成式 AI 帶動的 GPU 算力需求密切相關。企業、AI 新創公司與模型開發商可以透過 Neocloud 取得大量 GPU 資源,用於模型訓練、微調與 AI 推論,而不必先自行建置完整的 AI 資料中心。因此,GPU 即服務(GPU as a Service;GPUaaS)也成為許多 Neocloud 業者的重要服務。
Gartner 預估到 2030 年,Neocloud 供應商預計將拿下規模達 2,670 億美元的 AI 雲端市場中的 20% 市占率。
傳統雲端與 Neocloud 有什麼不同?
傳統公有雲提供虛擬機、儲存、資料庫、分析與各式軟體服務,近年也已大量加入 GPU 與 AI 服務。因此,Neocloud 與傳統雲端的差異並不只是「有沒有 GPU」,而是基礎建設的設計重點不同。
Neocloud 通常從一開始便以 GPU 密集型工作負載為核心,強調高密度 GPU 叢集、高頻寬低延遲網路,以及較直接的硬體資源存取。部分平台也提供 Bare Metal(裸機)或專屬 GPU 叢集,適合需要控制硬體配置,或執行大規模分散式 AI 訓練的使用者。
相較之下,大型公有雲的優勢在於完整的軟體生態系、託管服務及全球部署能力。Neocloud 並不是要取代傳統雲端,而是針對 AI 與 HPC 等高運算密度需求提供更聚焦的算力選擇。
Neocloud 有哪些優勢?
Neocloud 的主要優勢是能快速取得高階 GPU 算力。企業不必先採購大量 GPU,即可依模型訓練、推論或專案需求取得所需資源。
由於基礎建設以 AI 工作負載為設計核心,高密度 GPU 伺服器、高速互連與高效能儲存也可進行整體最佳化,減少大型模型跨節點運算時的資料傳輸瓶頸。從單一 GPU 執行個體到專屬叢集,使用者也能依需求彈性調整資源規模。
常見的 Neocloud 服務模式
不同 Neocloud 業者會依 GPU 使用時間、容量與工作負載,提供不同的算力取用方式。
・Reserved Instances — 預先保留專屬或共享 AI 算力
適合需求穩定、長期運行的 AI 工作負載。使用者可預先保留 GPU 或完整運算資源,在固定期間內取得較穩定的容量與效能,例如大型模型訓練或持續性的 AI 推論。
・On-demand Instances — 隨用隨付的共享 AI 算力
使用者可在需要時從共享資源池取得 GPU 等運算資源,並依實際使用量計費,不需長期承諾。適合 AI 開發、測試、模型微調,以及需求變化較大的專案。
・Serverless Platforms — 不需管理伺服器的 AI 平台服務
由服務供應商負責底層硬體、資源配置、擴充與維運,開發者可直接透過平台或 API 使用 AI 模型與算力,不必自行管理伺服器。此模式適合需要快速將 AI 模型導入實際應用的使用者。
技嘉的特色
Neocloud 要有效擴充,不只是增加 GPU 數量,還必須同時處理網路、儲存、供電、散熱與系統管理等基礎建設需求。
GIGABYTE 提供從高密度 GPU 伺服器到機櫃級 AI 運算平台的完整產品組合,可支援 AI 訓練與大規模推論。GIGAPOD 可整合 GPU 運算、高速網路與基礎設施,並搭配 GIGABYTE POD Manager(GPM)進行系統監控與資源管理;直接液冷(DLC)等先進散熱技術則可因應持續提高的 GPU 功耗與熱密度,協助 Neocloud 與雲端服務供應商建立可擴充的 AI 基礎建設。