Comment fonctionnent les grands modèles de langage

Découvrons les grands modèles de langage à l’aide d’images simples. Voyez-les comme des systèmes qui prédisent le mot suivant, encore et encore.

D’abord, le modèle lit une énorme quantité de textes. Cet entraînement l’aide à repérer des régularités, par exemple la façon dont les mots s’enchaînent d’habitude.

Imaginez une autocomplétion géante, dotée d’une excellente mémoire des régularités. Le modèle ne cherche pas dans un dictionnaire : il estime ce qui vient ensuite.

À l’intérieur du modèle, des couches de calculs transforment les mots en nombres. Grâce à ces nombres, il peut comparer des idées et rapprocher des sens voisins.

Quand vous tapez un prompt, le modèle examine le contexte qui l’entoure. Il attribue ensuite une note à de nombreux mots suivants possibles, puis en choisit un.

Il répète cette étape, un token à la fois, jusqu’à ce que la réponse paraisse complète. La réponse est donc construite mot après mot, et non retrouvée toute faite.

L’idée clé est donc simple : un modèle de langage apprend des régularités, s’appuie sur le contexte et prédit le morceau de texte suivant. Voilà pourquoi il peut sembler étonnamment humain.