AI Tokens
Tokens d’IA
Que sont les tokens d’IA ?
Les tokens d’IA sont les unités de base des données traitées par les modèles d’intelligence artificielle. Le texte, les images, l’audio et les autres données d’entrée sont convertis, au moyen d’un processus appelé tokenisation, en séquences de tokens qu’un modèle d’IA peut traiter.
Dans un grand modèle de langage (LLM), un token peut représenter un mot entier, une partie de mot, un signe de ponctuation ou un autre fragment de texte. Un token ne correspond donc pas nécessairement à un mot ou à un caractère. Les modèles utilisent également des tokeniseurs différents ; un même contenu peut ainsi produire un nombre différent de tokens selon le modèle.
Lorsqu’un utilisateur envoie un prompt, le modèle traite d’abord les tokens d’entrée, puis génère des tokens de sortie pendant l’inférence. Ces tokens de sortie sont ensuite convertis en la réponse affichée à l’utilisateur.
Pourquoi les tokens d’IA sont-ils importants ?
Le nombre de tokens détermine la quantité de données qu’un modèle d’IA doit traiter et sert également couramment à mesurer l’utilisation et le coût des services d’IA générative.
La fenêtre de contexte d’un LLM est généralement mesurée en tokens et détermine la quantité d’informations que le modèle peut traiter en une seule fois. Une fenêtre de contexte plus large peut contenir des documents, des conversations ou d’autres informations contextuelles plus longs, mais elle nécessite également davantage de ressources de calcul et de mémoire.
À mesure que les modèles de raisonnement et l’IA agentique exécutent des workflows plus longs et plus complexes, une seule tâche peut mobiliser un volume de tokens considérablement plus important. Jensen Huang, CEO de NVIDIA, a indiqué lors de l’événement GTC 2026 que la demande en puissance de calcul pour l’IA avait été multipliée par environ un million au cours des dernières années. Google a également annoncé la même année que ses systèmes d’IA traitaient plus de 3,2 quadrillions de tokens par mois, contre 9,7 billions deux ans auparavant, soit une augmentation de plus de 300 fois. Alors que les volumes de tokens continuent de croître, le débit de tokens, la latence et le coût deviennent des indicateurs de plus en plus importants pour l’inférence de l’IA.
Comment fonctionne la tokenisation ?
La tokenisation convertit les données brutes en tokens qu’un modèle d’IA peut traiter. Pour le texte, un tokenizer applique un vocabulaire et des règles d’encodage propres au modèle afin de diviser le contenu en unités plus petites et d’associer chaque token à une représentation numérique pour le traitement.
Un mot courant peut ne nécessiter qu’un seul token, tandis qu’un mot plus long ou moins fréquent peut être divisé en plusieurs tokens. La langue, la ponctuation, les caractères spéciaux et la conception du tokenizer peuvent tous influer sur le résultat. Un même contenu peut donc produire un nombre de tokens différent selon le modèle d’IA utilisé.
Les modèles d’IA multimodaux peuvent également convertir les images, l’audio et la vidéo en tokens ou en représentations similaires que le modèle peut traiter.
Comment le nombre de tokens d’IA est-il calculé et facturé ?
Il n’existe pas de formule universelle pour convertir des mots ou des caractères en tokens d’IA. Le nombre réel dépend du tokenizer, de la langue et du contenu utilisés par un modèle donné.
Les services d’IA générative distinguent généralement les tokens d’entrée des tokens de sortie. Les tokens d’entrée comprennent les prompts, les documents et autres informations contextuelles fournies au modèle, tandis que les tokens de sortie sont générés par le modèle lorsqu’il formule sa réponse. Certains services peuvent également prendre en compte les tokens mis en cache, c’est-à-dire le contenu d’entrée réutilisable qui n’a pas besoin d’être entièrement retraité, ainsi que les tokens de raisonnement, utilisés par le modèle au cours de son processus de raisonnement interne avant la génération d’une réponse. Les catégories de tokens, les méthodes de comptage et les modalités de facturation varient selon le fournisseur.
Au-delà du nombre total de tokens, le nombre de tokens par seconde est couramment utilisé pour mesurer la vitesse de génération, tandis que le temps jusqu’au premier token (TTFT) mesure le délai entre l’envoi d’une requête et la génération du premier token. Pour les plateformes d’IA qui servent de nombreux utilisateurs simultanément, ces métriques peuvent avoir une incidence directe sur l’expérience utilisateur et l’efficacité de l’infrastructure.
Comment GIGABYTE vous aide-t-il ?
À mesure que l’IA générative, les modèles de raisonnement et les processus d’IA agentique traitent des volumes croissants de tokens, l’infrastructure d’inférence IA doit trouver le juste équilibre entre accélération GPU, puissance de calcul CPU, capacité mémoire, transfert des données, refroidissement et efficacité énergétique.
Les GPU sont particulièrement adaptés aux charges de travail d’inférence IA hautement parallélisées, notamment celles des grands modèles de langage et des modèles multimodaux. Les CPU continuent toutefois de jouer un rôle essentiel dans le traitement des données, les services applicatifs, l’orchestration des modèles et les workflows d’IA agentique. Lorsque les agents IA récupèrent des données, appellent des API, utilisent des outils externes ou coordonnent plusieurs tâches, les ressources CPU et GPU fonctionnent de concert dans l’ensemble du système d’IA.
GIGABYTE propose un vaste portefeuille allant des serveurs CPU et GPU hautes performances aux plateformes de calcul IA à l’échelle du rack, adaptées à différents types et niveaux de charge de travail d’inférence IA. Avec GIGAPOD, GIGABYTE POD Manager (GPM) et des technologies de refroidissement avancées telles que le refroidissement liquide direct, GIGABYTE aide les organisations à mettre en place une infrastructure IA évolutive, capable de prendre en charge une inférence à haut débit et à faible latence.
