Available inFrenchEnglishGermanHindiPortugueseRussianSpanish
Comment fonctionnent les LLM : des tokens aux transformers
Expliquez pourquoi le modèle que vous utilisez se comporte ainsi, du token qu'il lit jusqu'à la boucle d'agent qui l'entoure, sans ouvrir un seul schéma. Pour des développeurs qui utilisent des API de LLM tous les jours et n'ont jamais démonté le mécanisme ; aucun calcul, aucun code. Soixante-six cartes en dix chapitres couvrent tokens, embeddings, attention, échantillonnage, RLHF, hallucination, recherche documentaire et agents, sans jamais dire quel modèle est en tête ce mois-ci.
Vous voyez la réponse s'afficher morceau par morceau. Quelle est l'unité que le modèle lit et écrit vraiment ?
Le token : un morceau de texte pris dans un vocabulaire fixe
— Ni la lettre. Ni toujours le mot entier.
Source
Un tokenizer transforme votre texte en nombres avant que le modèle ne voie quoi que ce soit, avec un vocabulaire appris sur un corpus : les chaînes fréquentes deviennent un token, les rares sont découpées en plusieurs. Tout ce qui suit se compte dans cette unité : le prix, la taille de la context window (la fenêtre de contexte), la cécité du modèle à l'orthographe. Comptez environ trois caractères et demi par token en français, contre quatre en anglais : 1 000 tokens font à peu près 550 mots ici et 750 là-bas. Souvent confondu avec le mot : les deux coïncident assez souvent pour masquer la différence, puis un nom propre ou un terme rare coûte plusieurs tokens à lui seul.