Großes Sprachmodell

Ein Large Language Model (LLM) ist ein Modell der künstlichen Intelligenz (KI), das menschliche Sprache ohne zusätzliche Programmierung verstehen und mithilfe der sogenannten natürlichen Sprachverarbeitung (Natural Language Processing, NLP) Texte erzeugen kann, die von menschlich verfassten Texten kaum zu unterscheiden sind. Zu den bekannten LLMs auf dem Markt zählen die GPT-Serie von OpenAI, die LLaMA-Familie von Meta und das Open-Source-Modell BLOOM. Viele generative KI-Dienste für Sprache basieren auf LLMs, darunter ChatGPT von OpenAI, Google Bard und Microsoft Bing Chat.

Im Kern ist ein LLM ein künstliches neuronales Netz (Artificial Neural Network, ANN), das eine als „Transformer“ bezeichnete Deep-Learning-Architektur nutzt. Der Mechanismus zur parallelen Verarbeitung des Transformers ermöglicht das Training von KI-Modellen mit riesigen Mengen sprachbezogener Big Data – beispielsweise der gesamten Wikipedia – und mit Datenparametern im Milliarden- oder sogar Billionenbereich. Während des Trainings versucht das KI-Modell, die richtige Ausgabe für eine bestimmte Eingabe vorherzusagen, etwa das nächste Wort in einem Satz oder eine passende Antwort auf eine Anfrage, und überprüft anschließend seine Ergebnisse. Abhängig davon, ob die Vorhersage korrekt war, passt das KI-Modell die „Biases“ oder „Gewichte“ seiner Datenparameter an, bis es nahezu immer die richtige Ausgabe erzeugt. Deshalb können auf LLMs basierende KI-Dienste menschliche Sprache mühelos verstehen und darauf reagieren. Beispiele aus der Praxis sind ein Chatbot im Kundenservice, der präzise auf möglicherweise falsch geschriebene oder grammatikalisch fehlerhafte Beschwerden antwortet, oder ChatGPT, das innerhalb weniger Sekunden Gedichte und Lebensläufe verfasst.

Mehr erfahren: Was ist RAG und wie funktioniert es?

Ohne LLMs würde die Kommunikation mit einem Computer die Eingabe von Befehlen (wie bei MS-DOS) oder die Nutzung einer vorgegebenen grafischen Benutzeroberfläche (GUI) erfordern. Zu erwarten, dass ein Computer auf menschliche Sprache reagiert, wäre unrealistisch. Dank der zunehmenden Verbreitung von LLMs sind inzwischen zahlreiche neue KI-basierte Dienste verfügbar:

● Suchmaschinen und Chatbots: Die LLM-Technologie hat diese beliebten Funktionen um KI erweitert. Suchmaschinen und Chatbots verstehen unsere Anfragen nicht nur mit beeindruckender Genauigkeit, sondern haben auch eine neue Generation KI-gestützter PCs und Geräte hervorgebracht.

● Generative KI: Tools wie ChatGPT können Dokumente zusammenfassen und übersetzen sowie völlig neue Inhalte wie Briefe und Drehbücher für Fernsehsendungen verfassen.

● Gesundheitswesen und Medizin: Intelligente, auf LLMs basierende Anwendungen im Gesundheitswesen können elektronische Gesundheitsakten (EHR) erstellen, die das medizinische Personal bei Verwaltungsaufgaben entlasten, und Datenbanken für die Gesundheitsanalyse anlegen.

● Programmierung und KI-Entwicklung: GitHub Copilot, das von Microsoft und OpenAI entwickelt wurde, kann Computercode in JavaScript, Python und anderen Programmiersprachen schreiben. Das ist besonders bemerkenswert, denn LLMs ermöglichen es der KI, die Programmierung künftiger KI-Tools zu übernehmen.

GIGABYTE Technology bietet sowohl Hardware- als auch Softwarelösungen für die Arbeit mit LLMs und generativen KI-Diensten auf Basis von LLMs.

Auf der Hardwareseite stellt GIGABYTE KI-Server bereit, die speziell für die Rechen- und Datenspeicheranforderungen beim Training von KI-Modellen geeignet sind. Der G593-SD0 von GIGABYTE ist beispielsweise der weltweit erste NVIDIA-zertifizierte HGX™ H100 8-GPU-SXM5-Server. Er ist mit dem NVIDIA HGX™ H100 8-GPU-Computing-Modul ausgestattet und bietet dadurch eine äußerst leistungsfähige KI-Computing-Plattform. Weitere Produkte aus der G-Series-GPU-Server-Produktlinie von GIGABYTE können ebenfalls mit modernen GPU-Beschleunigern wie NVIDIA L40S ausgestattet werden, um LLM-Workloads zu unterstützen. Für die Datenspeicherung wurde der S-Series-Storage-Server S183-SH0 von GIGABYTE speziell für LLMs entwickelt. Durch den Einsatz von EDSFF-E1.S-Solid-State-Laufwerken (SSD) ermöglicht er All-Flash-Array-(AFA-)Speicher. Diese profitieren von PCIe-Gen5- und NVMe-Schnittstellentechnologien, sodass der Server die hohen Anforderungen an die schnelle Speicherung und den schnellen Abruf von Daten bei der LLM-Entwicklung erfüllt.

Auf der Softwareseite bietet das Beteiligungsunternehmen MyelinTek Inc. von GIGABYTE das MLSteam DNN Training System an. Dabei handelt es sich um eine „MLOps-Plattform“, die NLP- und LLM-Anwendungen unterstützt. Das MLSteam DNN Training System kann Open-Source-LLMs wie BLOOM für die vom Kunden gewählte GPU-Beschleunigungssoftwareplattform optimieren, beispielsweise AMD ROCm oder NVIDIA CUDA.