Available inPortugueseEnglishFrenchGermanHindiRussianSpanish
Como os LLMs funcionam: dos tokens aos transformers
Explique por que o modelo que você usa se comporta daquele jeito, do token que ele lê até o loop de agente ao redor dele, sem abrir um slide. Para desenvolvedores que usam APIs de LLM todo dia e nunca desmontaram o mecanismo; nada de cálculo, nada de código. Sessenta e seis cartões em dez capítulos cobrem tokens, embeddings, attention, amostragem, RLHF, alucinação, busca e agentes, sem dizer qual modelo lidera este mês.
Você vê a resposta aparecer aos pedaços. Qual é a unidade que o modelo de fato lê e escreve?
Um token: pedaço de texto de um vocabulário fixo
— Não é a letra. E nem sempre é a palavra inteira.
Source
Antes de o modelo ver qualquer coisa, um tokenizer transforma seu texto em números com um vocabulário aprendido de um corpus: sequências comuns viram um token só, as raras são partidas em várias. Tudo o que vem depois é medido nessa unidade — o preço que você paga, o tamanho da context window, a cegueira do modelo para a ortografia. E a conta não é igual para todos: esse vocabulário foi ajustado sobretudo em inglês, então o português gasta mais tokens para dizer a mesma coisa, com acentos e desinências partidos em pedaços. Costuma ser confundido com: a palavra. As duas coincidem com frequência suficiente para esconder a diferença.