Available inFrenchEnglishGermanHindiPortugueseRussianSpanish
Comprendre les LLM : comment fonctionnent les grands modèles de langage
Comprenez comment fonctionnent les grands modèles de langage, des tokens et de l’entraînement à l’attention, aux hallucinations, au RAG et aux agents IA. Pour développeurs et utilisateurs de chatbots, sans maths ni code.
Qu’est-ce qu’un grand modèle de langage (LLM) ?
Un modèle entraîné sur un vaste corpus à prédire la suite
Source
À partir d’un texte, un LLM attribue un score à chaque token suivant possible (un petit morceau de texte), puis l’un d’eux est retenu ; un chatbot écrit toute sa réponse en répétant cette seule prédiction. Le graphique le montre pour « La capitale de la France est ». Ce cours porte sur les modèles de type GPT derrière les chatbots ; d’autres modèles de langage, comme BERT, apprennent plutôt à retrouver des mots retirés au milieu d’une phrase.