AI Inference
KI-Inferenz
Was ist KI-Inferenz?
KI-Inferenz ist der zweite Schritt des zweiteiligen Prozesses, aus dem maschinelles Lernen und Deep Learning bestehen; der erste Schritt ist das KI-Training. Die beiden Schritte sind ein wichtiger Grund dafür, dass moderne künstliche Intelligenz für ein so vielfältiges Aufgabenspektrum geeignet ist – von der Generierung von Inhalten bis zum autonomen Fahren.
In der Inferenzphase wird ein vortrainiertes KI-Modell mit neuen, nicht gekennzeichneten Daten konfrontiert. Dabei greift es auf die Datenbasis zurück, die es während des Trainings „studiert“ hat, um die neuen Eingaben zu analysieren und die passende Ausgabe zu erzeugen. Bei generativer KI bedeutet das beispielsweise: Jedes Mal, wenn Sie ChatGPT eine Frage stellen oder Stable Diffusion bitten, etwas zu zeichnen, führt das KI-Modell eine Inferenz durch. Dass es Antworten formulieren kann, die so menschlich wirken, liegt an dem umfangreichen Training, das es zuvor durchlaufen hat.
Während die KI Inferenzen durchführt, zeichnet sie außerdem die Antworten menschlicher Nutzer für ihre nächste Trainingsphase auf. Sie berücksichtigt, wenn ihre Ausgabe gelobt oder kritisiert wird. Auf diese Weise sorgt die kontinuierliche Schleife aus Training und Inferenz dafür, dass die KI zunehmend menschenähnlicher wirkt.
Wozu benötigen Sie KI-Inferenz?
Der eigentliche Zweck des Trainings von KI-Modellen besteht darin, dass sie KI-Inferenz durchführen können: Sie sollen mit neuen Daten aus der realen Welt interagieren und Menschen dabei helfen, produktiver und komfortabler zu leben. Viele Funktionen moderner KI-Produkte – vom Lesen handschriftlicher Texte und der Erkennung menschlicher Gesichter über die Steuerung autonomer Fahrzeuge bis hin zur Erstellung von Inhalten – basieren auf KI-Inferenz. Wenn Sie Begriffe wie Computer Vision, Verarbeitung natürlicher Sprache (NLP) oder Empfehlungssysteme hören, handelt es sich dabei jeweils um Anwendungsbereiche der KI-Inferenz.
Wie unterstützt GIGABYTE dabei?
Für eine effiziente KI-Inferenz benötigen Sie eine Computing-Plattform mit hoher Rechenleistung und entsprechend niedriger Latenz. Der Grund ist einfach: Das KI-Modell wird voraussichtlich viele Benutzer gleichzeitig bedienen. Insbesondere in Szenarien, in denen eine schnelle Reaktion die Produktivität beeinflussen kann (beispielsweise beim Sortieren von Post in einem Verteilzentrum) oder sogar sicherheitsrelevant ist (beispielsweise bei der Steuerung eines selbstfahrenden Autos), sind Eigenschaften wie hohe Leistung und niedrige Latenz besonders wichtig.
Auf Serverseite zählt der G293-Z43 von GIGABYTE Technology zu den besten Lösungen für die KI-Inferenz. Er verfügt über eine branchenführende Konfiguration mit 16 AMD Alveo™ V70-Karten in einem 2U-Gehäuse. Der Alveo™ V70-Beschleuniger basiert auf der für die KI-Inferenz optimierten XDNA™-Architektur von AMD. Die Qualcomm® Cloud AI 100-Lösung ist ein weiteres Produkt, mit dem Rechenzentren dank Fortschritten in der Signalverarbeitung, Energieeffizienz, Knotentechnologie und Skalierbarkeit Inferenzprozesse in der Cloud und am Edge effektiver durchführen können.
Für verschiedene Anwendungen in einzelnen Branchen bietet GIGABYTE außerdem maßgeschneiderte Hardware. In der Automobil- und Transportbranche ist die Automated Driving Control Unit (ADCU) von GIGABYTE beispielsweise eine integrierte Computing-Plattform für Fahrzeuge mit KI-Beschleunigung. Sie kommt in selbstfahrenden Bussen in Taiwan zum Einsatz. Für die KI-basierte Gesichtserkennung, die im Einzelhandel und im Bildungssektor breit eingesetzt wird, bietet GIGABYTE mit der AI Facial Recognition Solution eine umfassende Lösung aus einer Hand, die im 1vN-Modell eine Genauigkeit von 99,9 % erreicht.
Weitere Informationen: 《KI mit den leistungsstarken KI-Serverlösungen von GIGABYTE voranbringen》
Auf Serverseite zählt der G293-Z43 von GIGABYTE Technology zu den besten Lösungen für die KI-Inferenz. Er verfügt über eine branchenführende Konfiguration mit 16 AMD Alveo™ V70-Karten in einem 2U-Gehäuse. Der Alveo™ V70-Beschleuniger basiert auf der für die KI-Inferenz optimierten XDNA™-Architektur von AMD. Die Qualcomm® Cloud AI 100-Lösung ist ein weiteres Produkt, mit dem Rechenzentren dank Fortschritten in der Signalverarbeitung, Energieeffizienz, Knotentechnologie und Skalierbarkeit Inferenzprozesse in der Cloud und am Edge effektiver durchführen können.
Für verschiedene Anwendungen in einzelnen Branchen bietet GIGABYTE außerdem maßgeschneiderte Hardware. In der Automobil- und Transportbranche ist die Automated Driving Control Unit (ADCU) von GIGABYTE beispielsweise eine integrierte Computing-Plattform für Fahrzeuge mit KI-Beschleunigung. Sie kommt in selbstfahrenden Bussen in Taiwan zum Einsatz. Für die KI-basierte Gesichtserkennung, die im Einzelhandel und im Bildungssektor breit eingesetzt wird, bietet GIGABYTE mit der AI Facial Recognition Solution eine umfassende Lösung aus einer Hand, die im 1vN-Modell eine Genauigkeit von 99,9 % erreicht.
Weitere Informationen: 《KI mit den leistungsstarken KI-Serverlösungen von GIGABYTE voranbringen》
