運用技嘉 AI TOP ATOM，澳洲推理型人工智慧先鋒 Cognitivo 挑戰企業導入 AI 的「最後一哩路」

聰明的好點子，可能改變全世界，尤其是在人工智慧 AI 盛行的二十一世紀。本篇成功案例來自澳洲雪梨，成立於 2017 年的 AI 軟體公司 Cognitivo，創辦人兼總經理 Alan Hsiao 在金融科技業有二十年的經驗。他相信自己找到了將「推理型 AI」導入商用的不二法門：他鎖定人工智慧落地的常見難題，俗稱的「最後一哩路」，推出一款能根據邏輯辦事，碰到模稜兩可的狀況能找尋出路，還能解釋思考過程的推理型 AI 產品，名為 Neuro-Symbolic AI。背後的核心技術，是將叫做「知識圖譜 (KG)」的結構化語義知識庫灌入大型語言模型 (LLM) 中；而用來持續改良 Neuro-Symbolic AI，使其能處理大規模工作負載的開發套件，正是技嘉科技的 AI TOP ATOM 個人 AI 超級電腦。

何謂 AI 落地的「最後一哩路」？2022 年，生成式 AI 開始普及全球，從根本改變了人類使用資訊科技 IT 的方式；而在四年後的今天，人工智慧發展絲毫沒有放緩的跡象，富比士最近一篇報告指出，AI 市值到了 2030 年將高達 1.339 兆美元，全球有 64% 的企業期待藉由 AI 提升生產力。然而，2025 年麥肯錫調查發現，雖然九成的調查對象宣稱經常使用人工智慧，卻有接近三分之二的受訪者承認組織未啟動全面性的 AI 導入。德勤稱之為 AI「未完全開發的巨大潛能」──儘管人工智慧商品及服務快速普及，各產業的 AI 使用率仍不如預期。

哈佛商業評論將此現象比喻為企業導入 AI 的「最後一哩路」。雖然 LLM 擅長整理資料和提供摘要，它卻無法妥善處理模稜兩可或陌生的問題，也無法解釋自己的決策過程。這導致積極導入人工智慧的公司發現微調模型和客製化 AI 的工程遠遠超乎預期，而將「數位員工」加入勞動力的流程也沒有想像中單純。除此之外，還有資安和隱私的顧慮：經手敏感資料的金融或醫療單位，使用外部 LLM 可能產生額外的風險。基於以上這些因素，目前 AI 工具對生產力的幫助，事實上還是有點差強人意。

這個痛點正是 Cognitivo 的切入點。團隊相信，如果能將 LLM 與結構化的語義知識庫「知識圖譜」進行結合，所創造出的 AI 系統將更透明化，更能夠根據邏輯辦事，所提供的資訊更容易驗證，也更適合當作企業進行決策的可信賴依據。



了解更多：
《成功案例：金融業大數據遇到的難題？機架式伺服器能快速解決》
《成功案例：亞洲數位病理領導企業雲象科技導入技嘉邊緣 AI，推進智慧醫療落地》

Cognitivo 的客群涵蓋金融業、財務顧問及醫療業，他們幫助客戶導入推理型人工智慧，跨越 AI 的「最後一哩路」，藉此提升組織的競爭力。Cognitivo 和新南威爾斯大學 (UNSW) 及其他澳洲研調機構保持密切的合作，助力知識圖譜滲透檢索增強生成 (RAG) 管道，並透過和澳洲首席金融機構的長期交流，將技術推廣至產品推薦系統、財務顧問助理，以及處理舊版軟體移轉的程式編寫代理人 (coding agent) 的應用上。

所謂的「知識圖譜」技術，是一種以圖形結構組織數據的資料模型，可清楚呈現真實世界中數據點之間的關聯，實現多跳推理的複雜思考模式。傳統的檢索增強生成，是將數據轉變成向量表示的向量資料庫，藉由比對向量間的相似度，尋找最相關的內容；相較之下，知識圖譜是結合「語意向量」及圖模型，能清楚呈現萬事萬物之間的因果關係和來龍去脈，進一步避免模型產生不正確或不相關的內容。知識圖譜的另一項優勢，就是利用動態的讀寫架構記錄用戶的邏輯脈絡（或稱上下文），相較 RAG 受限於唯讀設計，無法針對特殊需求進行微調。透過知識圖譜增強的 LLM，大幅降低「AI 幻覺 (hallucination)」的發生率，產出的答覆更精準、更具有參考價值。也不同於傳統 AI 的「黑箱作業」思考模式，推理型 AI 能解釋自己的思辨過程，使用者能和 AI 討論它為何做出某些決策，而不是只能盲目遵循 AI 的建議，或是因為發現 AI 的提議不適用，從此否認智慧工具的可用性。管理者能分析員工如何使用人工智慧，開創更理想的人機協作方式。

Alan Hsiao 提供另一個範例，證實 Cognitivo客製化的 AI 比開源 LLM 更貼緊使用者需求：澳洲一間專攻心理衛生的醫療機構，運用人工智慧進行語音輸入與轉錄、筆記整理、風險分析及醫療數據的彙整。當然，敏感的病患資料不能上傳外部的公有雲，而論及「自殘、輕生」的言論，更是不適合交給通用的大型語言模型處理。Cognitivo 針對客戶需求開發專屬的推理型 AI 服務，同時也推進智慧醫療加速落地。

可想而知，要幫不同產業開發客製化 AI，Cognitivo 必須掌握相當的運算資源，不但要能針對 AI 模型的微調端出競爭力十足的算力，還要具備長期的投報率及高度可擴充性，讓 Cognitivo 能滿足更多需求，及更大規模的工作負載。經過慎重的考慮，Cognitivo 挑選技嘉 AI TOP ATOM：這是一款基於 NVIDIA DGX Spark 架構打造的個人 AI 超級電腦，內建 NVIDIA® GB10 Grace Blackwell 超級晶片。導入這款桌上型運算平台，一舉解決了 Cognitivo 絕大多數的運算需求。



了解更多：
《Power of AI 系列文章：如何將人工智慧導入醫療保健業》
《成功案例：當量子演算法遇上 GIGABYTE AI TOP 100》
《GIGABYTE 全面支援 Nemotron 3.5 Lightning｜以 AI TOP ATOM 重塑自主 Agentic AI 新紀元》

Cognitivo 購入數台 AI TOP ATOM，架設在新南威爾斯州的總部，扮演工程團隊的多功能開發套件。小巧精致的 AI TOP ATOM 一手就能掌握，長寬約十五公分、高度約五公分，重量約 1.2 公斤。AI TOP ATOM 能單機運作，亦可集結四台 AI TOP ATOM 形成運算叢集，或是拿其中一台當作控制節點，其他三台扮演運算節點，總共有以上這三種操作模式。Cognitivo 團隊更是列出以下四大產品特色，讓他們有信心購入 AI TOP ATOM 是正確的抉擇，能協助他們鞏固在推理型 AI 市場的領先地位。

● Petascale 超算實力，輕鬆承擔本地端 AI 開發的工作負載

單論運算力，AI TOP ATOM 在此市場區塊無出其右，它最高可端出 1 petaFLOP 的 FP4 AI 運算效能，及 128GB 的一致性統一記憶體 (unified memory)。GB10 Grace Blackwell 超級晶片結合單顆 20 核心的 ARM 架構中央處理器 (CPU)，及第五代 Tensor Core，並搭載 NVIDIA NVLink™-C2C 技術，可支援高達 200B（兩千億）參數模型的開發與微調工作。若透過 AI TOP QSFP Cable 連接兩台 AI TOP ATOM，並藉由 ConnectX® 7 NIC 提供的高頻寬、低延遲傳輸技術成倍擴展運算能力，所支援的模型規模更可提高至 405B（四千五十億）參數。簡單來說，導入 AI TOP ATOM 讓 Cognitivo 掌握能和業界其他 AI 軟體開發商平起平坐的算力，並且維持快速擴展的彈性，能因應日新月異的運算需求。

團隊成員分享說，他們利用 AI TOP ATOM 的高運算效能及高記憶體容量，模擬低吞吐量的使用情境，藉此改良推理型 AI 軟體，準備應對客戶在現實生活中所面對的高吞吐量工作環境。

● 功耗及詞元 (token) 使用效率皆勝過裸機雲端服務

AI TOP ATOM 的能源使用效率非常顯著，整機功耗最高只有 240W，能輕鬆部署在一般的辦公環境。所節省下來的營運成本不限於電費──Cognitivo 發現，他們將 AI 開發從雲端轉移到本地端，大幅減少了時間和詞元 (token) 的耗費。

● 易於攜帶的展示套件，即時展現本地端 AI 的無限潛能

AI TOP ATOM 有如袖珍型的運算引擎，業務團隊能帶它拜訪客戶，現身說法展示本地端 AI 的應用可能。對於態度保留的潛在客戶，AI TOP ATOM 是最好的概念驗證 (PoC)：如果推理型 AI 軟體能在這款桌上型機台上執行，導入大規模的 AI 基礎建設應該不成問題，也不會佔用太多運算資源。

● 完整解決方案，推動人工智慧再創下一高峰

Alan Hsiao 直言，購買 AI TOP ATOM 是「很棒的投資」，一方面因為硬體搭配了技嘉聞名全球的優質售後服務與技術支援，另一方面是因為快速交貨和極具競爭力的售價，讓 Cognitivo 在推理型 AI 的商用市場守住了可貴的先發優勢。隨著愈來愈多垂直產業導入推理型 AI，Alan Hsiao 正在思索如何幫產品導入代理功能，甚至透過新興雲 (neocloud) 形式對外銷售。他認為，企業自動化的普及只是兩、三年之後的事；到時候，有深耕技術實力、客戶關係及銷售渠道的解決方案供應商，將會成為典範轉移後的冠軍企業。因此，身為開闢人工智慧新疆界的先進者，Cognitivo 必須導入前沿性的生產技術，才不會落後競爭對手，同時針對市場保持全面性、即刻性的觀測，隨時因應新變化調整 AI 軟體的開發策略。



謝謝閱讀澳洲推理型人工智慧先鋒 Cognitivo 運用技嘉科技 AI TOP ATOM 協助企業導入 AI 的成功案例，我們希望這篇文章對你有幫助。若對於技嘉 AI TOP 系列產品有任何疑問，歡迎點聯繫我們。