AI Inference | 人工智慧推論
為何需要?
訓練AI的最終目的,當然就是要進行推論,與現實世界發生互動,協助人們提升生活的便利性與舒適。許多先進的AI應用,包括辨識人臉或是手寫字跡,或是產生內容、操作自駕車,都是AI在進行推論。常見的實用範例,包括電腦視覺、自然語言處理(NLP)、推薦系統等。
技嘉的特色
有效進行AI推論的秘訣,就是電腦的運算力夠強大、延遲夠低。理由在於,AI模型大多是由許多用戶同時使用,應用情境包括提升生產力(比如說,幫物流中心進行分貨)或是確保自駕車行車安全,由此可見高算力與低延遲是不可或缺的兩大支柱。
伺服器產品方面,技嘉科技推出G293-Z43伺服器,提供最高密度的推論加速器配置,2U 規格機殼內安裝十六張AMD Alveo™ V70加速卡,Alveo™ V70採用AMD的XDNA™自適應資料流架構,非常適合人工智慧推論使用。技嘉亦提供Qualcomm人工智慧推論方案,Qualcomm Cloud AI 100加速器在吞吐量與低延遲方面表現優異,支援資料中心、雲端運算、邊緣運算等多重環境應用,提供高效能表現、高密度加速運算、高擴充性等各項優勢。
針對不同垂直產業,技嘉提供多樣性解決方案,交通運輸業可使用技嘉自動駕駛控制主機(ADCU),是透過AI加速的嵌入式運算平台,已部署於台灣彰濱工業區的自駕公車;商場及學校積極導入的AI人臉辨識,推薦使用技嘉智慧臉部辨識解決方案,這套方案採用「一對多」的辨識模型,在沒有比對資料的前提下,仍可達到99.9%的準確度。
了解更多:《GIGABYTE AI伺服器為人工智慧加速無限可能》
伺服器產品方面,技嘉科技推出G293-Z43伺服器,提供最高密度的推論加速器配置,2U 規格機殼內安裝十六張AMD Alveo™ V70加速卡,Alveo™ V70採用AMD的XDNA™自適應資料流架構,非常適合人工智慧推論使用。技嘉亦提供Qualcomm人工智慧推論方案,Qualcomm Cloud AI 100加速器在吞吐量與低延遲方面表現優異,支援資料中心、雲端運算、邊緣運算等多重環境應用,提供高效能表現、高密度加速運算、高擴充性等各項優勢。
針對不同垂直產業,技嘉提供多樣性解決方案,交通運輸業可使用技嘉自動駕駛控制主機(ADCU),是透過AI加速的嵌入式運算平台,已部署於台灣彰濱工業區的自駕公車;商場及學校積極導入的AI人臉辨識,推薦使用技嘉智慧臉部辨識解決方案,這套方案採用「一對多」的辨識模型,在沒有比對資料的前提下,仍可達到99.9%的準確度。
了解更多:《GIGABYTE AI伺服器為人工智慧加速無限可能》
WE RECOMMEND
RELATED ARTICLES
AI & AIoT
如何將人工智慧導入醫療保健業
從事醫療與健康產業的讀者,請花幾分鐘閱讀本篇文章,了解人工智慧(AI)為這個領域所帶來的嶄新商機,並認識能助您從中受益的AI工具。本篇是技嘉科技「Power of AI」系列文章,目的是介紹不同產業的最新AI趨勢,鼓勵前瞻者把握AI浪潮,找尋自己的機會。
Tech Guide
如何挑選您的AI伺服器?(下)記憶體、儲存裝置和其他元件
人工智慧盛行的當下,各種組織積極導入「AI伺服器」。技嘉科技最新發表的《科技指南》:「如何挑選您的AI伺服器?」,文章下半篇將介紹CPU和GPU以外的六個關鍵零組件。挑選合適元件可讓AI伺服器的性能達到顛峰,勝任人工智慧的相關工作。
Tech Guide
如何挑選您的AI伺服器?(上)CPU和GPU
生成式人工智慧和其他AI工具盛行的當下,挑選合適的AI伺服器成為各產業的首要任務。技嘉科技最新發表《科技指南》,帶領讀者認識AI伺服器的八個關鍵零組件,本篇從最重要的元件開始,即中央處理器(CPU)和圖形處理器(GPU)。挑選適當的運算晶片,打造量身訂做的人工智慧超算平台,可以讓工作事半功倍,為使用者開創全新的巔峰。
AI & AIoT
帶您快速跟上人工智慧AI趨勢的十大問答
大家都在談人工智慧(AI),您是否也希望擁有基本的知識,參與這個話題的討論?別擔心,技嘉科技為您準備了介紹AI趨勢的十大問答,讓您能快速理解人工智慧的概念!
AI & AIoT
如何將人工智慧導入汽車和運輸產業
若您從事汽車與運輸業,請花幾分鐘閱讀本篇文章,了解人工智慧(AI)所開拓的嶄新機會,認識能助您拓展更多可能性與商機的科技工具。本篇是技嘉科技「Power of AI」系列文章,目的是介紹不同產業的AI趨勢,協助具有先見之明的前瞻者利用AI創造自己的機會。
Tech Guide
如何挑選適當的伺服器冷卻方案? 技嘉科技《科技指南》系列文章
隨著科技進步,新一代的處理器使用更多電力、產出更多熱能。選購伺服器時,應當留意溫控問題,好的冷卻方案可確保伺服器正常運作,且不至於太耗電、或是需要頻繁的維修。 技嘉科技是高性能伺服器的領導品牌,本篇《科技指南》針對市面上廣泛使用的三種散熱方法(氣冷式、液冷式和浸沒式)逐一說明,並介紹技嘉的相關產品,協助您挑選最適合的解決方案。
Tech Guide
揭秘生成式AI:從「訓練」到「推論」,一窺其神奇運作原理
生成式人工智慧(generative AI)來勢洶洶,實用案例包括聊天機器人ChatGPT能撰寫文案與企劃案、Stable Diffusion等圖像生成工具能依指令產出栩栩如生的影像。事實上,想搞懂生成式AI不難,使用它比想像中還容易。技嘉科技在本篇《科技指南》中,為您解剖生成式AI背後「訓練」與「推論」兩個重要步驟,並為您推薦專為人工智慧開發所設計的技嘉解決方案,協助您成為AI世代的佼佼者。
Success Case
技嘉伺服器加持 國研院國網中心與冉色斯引導台灣動畫走向國際
瀚草影視製作影集《2049》,2021年在網飛、台視、東森等平台播出;冉色斯動畫新作《2049+絕處逢聲》,是影集《2049》衍生系列,同步在myVideo首播。精妙絕倫的電腦動畫,使用國研院國網中心算圖農場的技嘉科技高效能運算伺服器渲染製作,透過伺服器搭載的NVIDIA®加速卡,動畫師能駕馭頂尖渲染技術,平行運算功能讓多名用戶能同時使用算圖服務,智慧管理功能則確保服務穩定性。千呼萬喚的台灣卡通巨作問世,《2049+絕處逢聲》受到國內外串流平台高度關注,台灣科技文創業的創意與巧思,期望能被全世界看見。