Available inRussianEnglishFrenchGermanHindiPortugueseSpanish
Как работают большие языковые модели (LLM): простыми словами
Поймите, как устроены большие языковые модели, от токенов и обучения до внимания, сэмплирования, галлюцинаций, RAG и ИИ-агентов. Для разработчиков и всех, кто пользуется чат-ботами, простыми словами, без формул и кода.
Что такое большая языковая модель (LLM)?
Модель, обученная на массе текста угадывать следующий токен
Source
Получив текст, LLM оценивает каждый возможный следующий токен (небольшой кусочек текста), и один из них выбирается; чат-бот пишет весь ответ, повторяя это одно предсказание снова и снова. На графике это показано для фразы «Москва — столица». Колода посвящена моделям в духе GPT, на которых работают чат-боты; некоторые другие языковые модели, например BERT, учатся восстанавливать слова, убранные из середины предложения.