So funktionieren große Sprachmodelle

Schauen wir uns große Sprachmodelle einmal ganz anschaulich an. Stellen Sie sich Systeme vor, die immer wieder das nächste Wort vorhersagen.

Zuerst liest das Modell riesige Mengen Text. Durch dieses Training erkennt es Muster, zum Beispiel, welche Wörter normalerweise zusammenpassen.

Stellen Sie sich eine riesige Autovervollständigung mit bestem Mustergedächtnis vor. Sie schlägt nicht im Wörterbuch nach, sondern schätzt, was als Nächstes kommt.

Im Inneren des Modells verwandeln Schichten aus Mathematik Wörter in Zahlen. Mit diesen Zahlen vergleicht es Ideen und verknüpft verwandte Bedeutungen.

Wenn Sie einen Prompt eingeben, betrachtet das Modell den Kontext drumherum. Dann bewertet es viele mögliche nächste Wörter und wählt eins aus.

Diesen Schritt wiederholt es Token für Token, bis die Antwort vollständig wirkt. Die Ausgabe wird also Wort für Wort aufgebaut und nicht einfach abgerufen.

Die Grundidee ist also einfach: Ein Sprachmodell lernt Muster, nutzt den Kontext und sagt das nächste Stück Text voraus. Deshalb klingt es oft erstaunlich menschlich.