揭秘生成式AI：從「訓練」到「推論」，一窺其神奇運作原理

生成式人工智慧(generative AI)的神通廣大，相信大家應該看過許多由AI來產生的圖像或文字，在此就不多花時間陳述。本篇文章的目的，是帶您探索生成式AI背後的原理，讓您了解AI「訓練」(training)與「推論」(inference)階段在做些什麼，這將有助於您挑選合乎需求的運算平台，讓您能輕鬆為您的組織導入生成式AI。

首先，我們從ChatGPT談起。「GPT」的「T」代表轉換器(transformer)，是自然語言處理(NLP)技術中，「大型語言模型」(LLM)慣用的模型架構。LLM是當下開發AI的主流科技，結合深度學習和人工神經網路(ANN)，讓人工智慧能「拜讀」大量未標籤化的資料（字數可能高達數兆），藉此「訓練」AI閱讀和與人交談。您可以想像成，人工智慧模型已看完了整個維基百科，因此AI學會拼字與造句，並且能在「推論」階段和您閒聊任何話題。

詞彙學習：
《花你一分鐘，一次看懂關於自然語言處理NLP》
《技嘉小百科，告訴你深度學習是什麼》

看懂了ChatGPT，就不難理解Stable Diffusion、Midjourney等「文字轉圖像」AI技術。這些人工智慧結合了語言與圖像生成模型，除了文字語料庫之外，還利用大量圖庫資料做訓練，因此AI能將影像轉換成文字（也就是描述圖片中看見的事物），或是將文字轉換成影像（也就是依照用戶的指令畫圖）。人工智慧甚至懂得使用濾鏡，出神入化的「畫技」已經有奪下美術展冠軍的案例。

接下來，我們將深入分析人工智慧如何進行「訓練」與「推論」，並推薦給您最合適的技嘉科技解決方案，讓您也能掌握生成式AI，利用它來創造更多價值。《詞彙學習：常聽別人說人工智慧 (AI)，你知道那是什麼嗎？》

我們可將人工智慧模型想像成人類的大腦，人腦有上千億個神經元，和好幾百兆條突觸聯結，人工神經網路也有一層層的節點(node)，節點就如人類的神經元，節點間的連接單元，有如人腦的突觸聯結。

當輸入值(input)從一層節點傳輸到下一層節點，人工智慧會依據輸出值(output)的正確性，給予參數一個正數或負數的權重(weight)，等於是在幫決策過程打分數。透過「前向傳播」（或稱預測）和「反向傳播」（或稱回饋）的反覆循環，參數的權重變得非常精確，AI幾乎每次都會挑選正確的輸出值。打個比方，這就如先前分析的海量資料在演算法中留下了「軌跡」，讓新的數據更容易找到正確的方向。也就是說，AI模型不是真正理解您的指令，但它在訓練過程中接觸過許多相似的指令，因此它能揣測您期待看到什麼答覆，幾乎萬無一失，而且它也能以文字或圖片形式呈現答覆。

資通訊時代，智慧裝置隨時隨地蒐集資訊，所造就的「大數據」，對AI訓練有很大的幫助。早期的AI訓練要求使用標籤化資訊，還需要人類工程師全程監督，但後來AI變得更聰明，能使用未標籤化的資訊進行「無監督式」或「半監督式」學習，從此加快了生成式人工智慧的開發速度。《詞彙學習：花你一分鐘，一次看懂關於大數據》

訓練AI需要使用龐大的運算資源，而隨著AI進步，資源需求量將變得愈來愈大。比方說，2018年推出的第一代GPT-1，宣稱使用「八張GPU跑了一個月」，消耗大約0.96 petaflop/s-days (pfs-days)的運算資源。2020年推出的GPT-3，消耗了3,630 pfs-days的運算資源。新一代的GPT-4尚未公布數據，但可想而知，運算需求必然是GPT-3的好幾倍。《詞彙學習：技嘉小百科，告訴你GPU（圖形處理器）是什麼》

有鑑於此，如果您有AI訓練需求，可考慮購買強大的GPU超算平台，開發人工智慧推薦使用GPU圖形處理器，因為這類型的處理器擅於平行運算，可快速處理海量資料，前文提及的轉換器架構，就是透過平行運算迅速處理大型文字語料庫的資料。對開發AI的工程師而言，縮短訓練時間極為重要，就連處理器的核心類別都要謹慎挑選，才能以最大效率進行人工智慧訓練。

了解更多：
《詞彙學習：常聽別人說平行運算，你知道那是什麼嗎？》
《詞彙學習：花你一分鐘，一次看懂關於核心》
《科技指南系列文章：CPU vs. GPU！淺談伺服器的兩大運算力》

目前市面上最強大的人工智慧超算平台之一，就是技嘉科技的G系列GPU協同運算伺服器，其中G593-ZD2搭載AMD EPYC™ 9004中央處理器，G593-SD0則搭載第四代Intel® Xeon®可擴充CPU，並結合NVIDIA HGX™ H100運算模組，這套模組最多容納八張H100 GPU加速卡，每張加速卡搭配專為深度學習所設計的第四代Tensor核心，及具有 FP8 精確度、有助於加速LLM訓練的運算加速引擎「Transformer Engine」，一套HGX H100 8-GPU提供超過32 petaFLOPS的深度學習計算性能。技嘉獨家的設計，將超乎想像的運算能量容納在 5U 規格的機殼中，領先業界的散熱技術維持機台的穩定運行，讓超算平台發揮最大潛能。

值得一提的是，AI訓練的歷史悠久，早在生成式AI席捲全球之前，許多業界巨擘已經運用AI進行相關研究，技嘉G系列伺服器在這些研究和開發中扮演了重要角色。舉例來說，世界知名的以色列自駕技術公司，用技嘉G291-281訓練自駕車車隊，西班牙跨學科物理和複雜系統研究所(IFISC)則使用技嘉G482-Z54訓練AI模型，用電腦視覺偵測衛星照片中葉緣焦枯病菌蔓延的跡象。2020年，台灣的成功大學派出一組「超級電腦國手」，在亞太地區「高速運算暨人工智慧（HPC-AI）學生競賽」中榮獲冠軍，學生們利用技嘉G482-Z50突破自然語言處理訓練紀錄，以正確率87.7%的MultiNLI語意資料庫判讀結果，打敗全球其他頂尖大學。

技嘉成功案例：
《打造自動駕駛的大腦，技嘉G291-281伺服器協助科技創新者發展自駕車演算法》
《西班牙IFISC用技嘉伺服器，為新冠肺炎、氣候變遷尋求解方》
《CSR、ESG實踐案例：技嘉助攻成功大學，勇奪亞太HPC-AI電腦競賽冠軍》

技嘉不僅提供全系列伺服器產品，還推出AI訓練軟體套件，MLSteam深度學習訓練解決方案結合強大的運算效能與圖形化的操作介面，為深度學習工程師提供簡易操作環境，執行數據集管理、深度學習訓練排程管理、即時監控和訓練模型分析。

完成訓練的AI模型如果通過測試，接下來就是進入「推論」階段，面對真實世界大量未標籤化資訊，企圖產生正確的答覆。使用者提出的需求千變萬化，有人可能請AI撰寫「冥王星殖民計畫」，或是要求它用日系畫風畫一幅「太空人騎馬」的圖像。儘管這些輸入值毫無邏輯可言，人工智慧都要找出方法，產生人類預期的輸出值。

人工智慧進行推論的方式，就是拿訓練階段累積的參數比對新的輸入值，「預測」使用者期望接收的輸出值。AI模型也會記錄人類的反應，留意哪些答覆讓使用者感到滿意、哪些被送回要求修改，這些經驗值有助於推進下一輪的AI訓練。由此可見，人工智慧也是「從錯誤中學習」，因此生成式AI變得愈來愈進步、愈人性化。

人工智慧推論也很講究運算資源與GPU加速，除此之外，還要考量一個新屬性，就是「降低延遲」。現階段的AI生成內容，多少還是得經過人類的微調與修正，所以使用者希望AI盡快產出內容，才有時間幫它做加工。而如果AI肩負的職責不只是產內容，還要幫人類提升工作效率（例如透過電腦視覺幫物流公司做貨物分類），或是駕駛自駕車，那「低延遲」更是運算平台不可或缺的必備條件。

了解更多：
《詞彙學習：技嘉小百科，告訴你電腦視覺是什麼》
《成功案例：物流業智慧升級，善用技嘉客製化伺服器啟動轉型》

如果您想執行AI推論，技嘉首推G293-Z43伺服器，提供最高密度的推論加速器配置，2U 規格的機殼內安裝高達十六張AMD Alveo™ V70加速卡。Alveo™ V70採用AMD的XDNA™自適應資料流架構，非常適合 AI 和訊號處理應用，資訊在節點間傳輸時不需要仰賴外部的記憶體裝置，有助於提升運算效能、降低功耗、降低延遲，非常適合人工智慧模型推論使用。

技嘉還提供Qualcomm人工智慧推論方案，Qualcomm Cloud AI 100加速器在吞吐量與低延遲方面表現優異，支援資料中心、雲端運算、邊緣運算等多重環境應用，提供高效能表現、高密度加速運算、高擴充性等種種優勢，提升人工智慧推論效率。除了稍早提及的GPU協同運算伺服器產品，技嘉還有提供更多支援推論加速卡應用的解決方案，包括E系列邊緣運算伺服器、R系列機架伺服器等產品，有許多不同的選項供使用者挑選。

詞彙學習：
《常聽別人說資料中心，你知道那是什麼嗎？》
《花你一分鐘，一次看懂關於邊緣運算》
《技嘉小百科，告訴你雲端運算是什麼》
《常聽別人說可擴充性，你知道那是什麼嗎？》

生成式人工智慧已經廣泛應用於各行各業，包括製造業、零售業、金融業等。在選擇適合的超算平台時，關鍵在於釐清您所專注的AI開發階段，是需要大數據分析的「訓練」階段、還是需要面對使用者的「推論」階段？技嘉科技提供全方位伺服器產品，搭配最先進的AI處理器、加速卡與運算模組，讓您成為AI世代的佼佼者，為組織導入最先進的人工智慧發明。

看完本篇科技指南，希望大家對生成式人工智慧的「訓練」與「推論」有更深入的了解。若對伺服器及人工智慧解決方案有任何疑問，技嘉將提供您最適宜的諮詢服務，歡迎您透過marketing@gigacomputing.com 聯絡我們，我們將協助您挑選適合的伺服器解決方案。

同場加映：
《科技指南系列文章：深究「伺服器處理器」，伺服器運算效能的核心關鍵》
《更多成功案例：技嘉PILOT自動駕駛控制主機，開啟台灣自駕公車的AI科技之旅》