大規模言語モデルのしくみ

大規模言語モデルのしくみを、シンプルなイメージでひもといていきましょう。次に来る言葉を、何度も予測し続けるシステムだと考えてください。

まず、モデルは膨大な量の文章を読み込みます。この学習を通して、言葉どうしのつながり方などのパターンをつかんでいきます。

パターンをよく覚えている、巨大な予測変換を思い浮かべてください。辞書を引いているのではなく、次に何が来るかを見積もっているのです。

モデルの中には、言葉を数値に変える計算の層が何重にも重なっています。その数値を使って、考えを比べたり、関連する意味を結びつけたりします。

プロンプトを入力すると、モデルはまず周りの文脈を読み取ります。そして、次に来そうな言葉の候補をたくさん採点し、ひとつを選びます。

この手順を、トークンひとつずつ、返答がまとまるまで繰り返します。つまり出力は、どこかから取り出すのではなく、一語ずつ組み立てられているのです。

大事なポイントはシンプルです。言語モデルはパターンを学び、文脈を手がかりに、次に来るテキストを予測します。だからこそ、驚くほど人間らしい話し方ができるのです。