大型語言模型 (LLM) 是什麼？

大型語言模型（LLM）是一種人工智慧（AI）模型，透過自然語言處理（NLP）技術，能理解人類語言並產生回覆，讓使用者很難想像自己是在和AI對話。市面上主流的大型語言模型包括OpenAI的GPT系列，Meta的LLaMA系列，還有開源的BLOOM。許多生成式AI工具，例如OpenAI的ChatGPT、谷歌的Bard和微軟的Bing Chat，都是以大型語言模型作為基礎。

LLM的本質是一種人工神經網路（ANN，或稱類神經網路），主要使用稱為轉換器（transformer）的深度學習模型，透過平行運算技術快速分析龐大的語言資料庫（例如維基百科），處理的大數據參數量以「億」來計算，甚至破兆，藉此完成所謂的AI訓練。訓練過程中，AI根據所接收的輸入值，嘗試「猜測」人類期待看到的輸出值，比如看到一副對聯的上聯就能猜測下聯是什麼，或是看到成語就能夠造句。AI模型參考猜測結果的對錯，持續微調參數的權重（weight），直到權重變得極為精確，AI幾乎每次都能產出正確的輸出值。最終得到的結果就是，使用大型語言模型創造的AI工具非常善解人意，市面上已經有許多成功案例，例如能看懂客人問題，協助找到解答的客服機器人，或是大家熟悉的ChatGPT，能快速撰寫各種不同文字內容。

延伸閱讀: 檢索增強生成（RAG）是什麼？如何結合 AI 代理

為何需要 LLM?

沒有大型語言模型，人類就只能用電腦指令和電腦「對話」，類似八、九零年代大家都在用的MS-DOS；或是需要工程師預先設計圖形使用者介面（GUI），方便不懂程式語言的人們使用。沒有LLM，電腦就無法說「人話」，也就是無法利用人類語言和人類溝通。LLM的進步，導致市面上出現各種創新的AI服務：

● 搜尋引擎和聊天機器人：LLM技術使這些服務變得更有智慧，搜尋引擎和聊天機器人不但能精確掌握使用者的提問，還成為新一代AI加持的個人電腦和行動裝置的重要產品特色。

● 生成式AI工具：ChatGPT等生成式AI工具能翻譯文件，撰寫文章摘要，或是產出原創文字，例如信件或電視劇本。

● 醫療健保業：利用LLM開發的智慧醫療服務，能自動產生電子健康紀錄（EHR），減輕醫護人員的行政作業，同時也建造醫療大數據分析應用的電子病歷資料庫。

● 軟體設計與AI發展：微軟和OpenAI攜手開發的GitHub Copilot，甚至能使用JavaScript、Python等程式語言撰寫程式碼，等於是最高階的AI工具，已經能協助人類開發新的AI服務。

技嘉的特色

技嘉科技提供完善的軟硬體解決方案，能用來開發和使用LLM，以及以LLM作為基礎的生成式AI工具。

硬體方面，技嘉全系列「人工智慧平台」AI伺服器產品，擅於執行AI訓練中運算和資料儲存的工作。例如技嘉G593-SD0 G系列GPU協同運算伺服器，是市面上首先受到NVIDIA官方認證的HGX™ H100 8-GPU SXM5伺服器產品，搭載超級電腦等級的HGX™ H100 8-GPU運算模組，堪稱市面上最高效能的AI運算平台之一。其他技嘉 G系列GPU協同運算伺服器，可搭配不同的GPU加速器應用，例如NVIDIA L40S，這些產品都非常適合處理LLM的相關作業。資料儲存方面，技嘉S183-SH0 S系列儲存伺服器專為龐大的LLM工作負載所設計，全快閃記憶體陣列（AFA）的EDSFF E1.S規格固態硬碟（SSD），支援PCIe Gen5與NVMe傳輸介面，完美符合大型語言模型對於高速資料儲存與檢索的需求。

軟體方面，技嘉透過轉投資事業邁爾凌科技（MyelinTek），提供機器學習作業（MLOps）的應用平台「MLSteam深度學習訓練解決方案」，可支援NLP和LLM應用。此套方案可優化開源的LLM（例如BLOOM），使其和客戶指定的GPU軟體平台（例如AMD的ROCm或NVIDIA的CUDA）合作無間，這有助於開發封閉式的聊天機器人和其他生成式AI工具。