Available inGermanEnglishFrenchHindiPortugueseRussianSpanish
Wie LLMs funktionieren: von Token zu Transformern
Erkläre, warum das Modell, mit dem du arbeitest, sich genau so verhält — vom Token, das es liest, bis zur Agent-Loop darum herum —, ohne eine einzige Folie aufzuschlagen. Für Entwickler, die täglich LLM-APIs nutzen und den Mechanismus nie auseinandergenommen haben; keine Analysis, kein Code. Sechsundsechzig Karten in zehn Kapiteln behandeln Token, Embeddings, Attention, Sampling, RLHF, Halluzination, Retrieval und Agenten — und nichts darüber, welches Modell diesen Monat führt.
Du siehst zu, wie eine Antwort Stück für Stück erscheint. Welche Einheit liest und schreibt das Modell wirklich?
Ein token: ein Textstück aus einem festen Vokabular
— Nicht der Buchstabe. Nicht immer das ganze Wort.
Source
Ein Tokenizer macht aus deinem Text Zahlen, bevor das Modell irgendetwas sieht, mit einem Vokabular, das aus einem Korpus gelernt wurde: Häufiges wird ein token, Seltenes zerfällt in mehrere. Alles Weitere rechnet in dieser Einheit — der Preis, die Größe des context window, die Blindheit für Schreibweisen. Für englische Prosa gilt die Faustregel vier Zeichen pro token; deutscher Text mit seinen Komposita und Umlauten braucht für denselben Inhalt grob ein Drittel mehr tokens, und genau das steht später auf deiner Rechnung. Häufig verwechselt mit dem Wort: die beiden fallen oft genug zusammen, um den Unterschied zu verdecken.