GPTをはじめとする大規模言語モデルの仕組み

GPTはデータベースから回答を検索しているのではなく、学習したパターンに基づいて言葉を少しずつ生成しています。この仕組みを理解すると、得意分野や間違いの理由、的確な指示の出し方が腑に落ちます。

読了目安: 8分更新日

当サイトのチャットに質問を入力した際、GPTは保存された回答データベースを検索しているわけではありません。トレーニング中に膨大なテキストから吸収したパターンに基づき、少しずつ新しい返答を生成しています。この仕組みを理解するだけで、なぜ言語処理がこれほど得意なのか、なぜほぼ何でも説明できるのか、なぜ時には完全な自信を持って間違ったことを言うのか、そしてなぜ質問の仕方が重要なのか、その多くが説明できます。このガイドでは、数式を使わずに平易な言葉で主要な仕組みを解説し、普段のチャットにどう役立つかをご紹介します。

GPTの頭文字の意味

GPTは、Generative Pre-trained Transformer(生成的・事前学習済み・トランスフォーマー)の略です。Generative(生成的)は、決められた返答を選ぶのではなく新しいテキストを生成することを意味します。Pre-trained(事前学習済み)は、対話用に調整される前に、まず非常に大規模なテキストの集まりから学習したことを指します。Transformerは内部で使われているニューラルネットワークの種類で、2017年にGoogleの研究者によって発表された設計であり、各単語と周囲のすべての単語との関係性を捉えるのが特に得意です。OpenAIは2018年に最初のGPTモデルをリリースしました。当チャットで利用できるGPT-6 LunaとGPT-6.1 Terraは、その同じ系統の最新モデルです。詳しいタイムラインはGPTの歴史ページを、より広い概要はGPTとはをご覧ください。

トークン:モデルが文章を読む仕組み

モデルは文字や単語全体をそのまま見ているわけではありません。テキストはまずトークンに分割されます。よく使われる単語は通常1つのトークンになりますが、長かったり珍しかったりする単語はいくつかの断片に分解されます。英語の場合、OpenAIの目安では1トークンはおよそ単語の4分の3程度です。他の言語では、同じ意味を表すのにより多くのトークンが必要になることがよくあります。

トークンの仕組みから、いくつかの特異な現象が説明できます。モデルは単語内の文字数を数える際に間違えることがありますが、これは文字を1文字ずつ見ていないためです。また、入力と出力の上限は文字数ではなくトークン数で測定されます。さらに、開発者向けの価格(GPT APIページに記載)は、100万トークン単位で設定されています。

1つずつ進む予測のプロセス

モデルの根本的な動作は1つだけです。それまでに入力されたすべてのテキストを踏まえ、次にどのトークンが来る可能性が高いかを予測することです。トークンを1つ選んでテキストに追加し、これを何百回、何千回と繰り返して回答を完成させます。チャットで回答が一気に表示されず、少しずつ現れるのはそのためです。

選択肢にわずかなランダム性を持たせることで、毎回まったく同じ回答になるのを防いでいます。再生成ボタンはこの仕組みを利用しており、もう一度質問すると、同じ知識ベースから異なるルートを通って回答が生成されます。当サイトのチャットでは以前の試行をバージョンとして保持するため、比較が可能です。

予測と聞くと単純に思えるかもしれませんが、何十億もの用例にわたって高精度で予測を行うためには、文法、事実、文体、推論パターンなど、多岐にわたる知識をモデルが身につける必要があります。人間には理解しているように見える現象は、この「予測するプレッシャー」から自然と生み出されているのです。

モデルのトレーニング方法

GPTモデルはいくつかの段階を経て構築されます:

  1. 事前学習(Pre-training)。 膨大なテキストデータを処理し、「次のトークンを当てる」という単一のタスクをひたすら練習します。この段階ではどんな文章でも続きを書くことができますが、優れた対話パートナーとしてはまだ機能しません。
  2. 指示調整(Instruction tuning)。 依頼とそれに対する適切な回答の用例を使ってトレーニングされ、指示に従ったり質問に答えたりする方法を学びます。
  3. フィードバックと強化学習(Reinforcement Learning)。 人間や自動チェックが回答を評価し、有用で正確かつ安全な回答をするようモデルが調整されます。推論モデルもこの方法でトレーニングされ、回答前にじっくり筋道を立てて考えるように促されます。

トレーニングはある時点で終了し、その日付がモデルのナレッジカットオフとなります。OpenAIによると、GPT-6 Lunaのデータは2026年5月18日まで、GPT-6.1 Terraのデータは2026年6月1日までとなっています。それ以降の出来事は、ユーザーが貼り付けない限りモデルには分かりません。また、当チャットはWebブラウジングを行いません。

コンテキストウィンドウ:モデルが見えている範囲

モデルは異なる会話の間で記憶を保持しません。1つのチャットの中で、モデルにはコンテキストが見えています。これには、指示、それまでのやり取り、そして最新のメッセージがすべてトークンとして含まれます。OpenAIによると、LunaとTerraのコンテキストウィンドウは約105万トークンで、分厚い本数冊分に相当します。

当サイトのような無料チャットでは、回答の速度を維持するため、会話の直近の部分だけを絞って送信しています。会話が非常に長くなると、初期のメッセージは見えなくなることがあります。重要な詳細がある場合は、再度伝えるか、現在の状況を短くまとめた上で新しいチャットを開始してください。チャットはそれぞれ独立しており、別のチャットで話した内容をモデルが覚えていることはありません。

推論:回答する前に思考する

推論モデルは、目に見える回答を出力する前に、内部で非表示の思考プロセスを生成します。これにより、わずかな時間を引き換えに、問題をステップに分解し、自らのミスに気づくチャンスを得られます。当チャットでは、Thinkチップをオンにすると、少し考え込むGPT-6.1 Terraに切り替わります。デフォルトのGPT-6 Lunaはほぼ即座に回答します。この待ち時間をかける価値があるケースについては、推論モデルの解説ガイドをご覧ください。

もっともらしい嘘(ハルシネーション)の正体

モデルは常に「もっともらしい続き」を書くように作られているため、正確な事実が手元にない場合でも続きを書いてしまいます。専門的なトピックの参考文献を尋ねられると、実際に存在するかどうかにかかわらず、参考文献の体裁をした回答を作り出します。小さな町について質問されると、一般的な町に当てはまるような詳細を答えます。最新モデルでは不確実性を認める精度が上がっているものの、モデルには「これは知らない」と判断する確実な内部シグナルがありません。そのため、人名、数値、日付、引用のファクトチェックが欠かせません。ファクトチェックのガイドで手軽な確認手順をご紹介しています。

プロンプト作成への活かし方

これまでに説明した仕組みは、いくつかの実用的なルールに落とし込めます:

不十分な例:
契約書の中途解約について何と書いてありますか?

効果的な例:
以下は私の賃貸契約書の第9条です: [条文を貼り付け]。
いつ中途解約できるのか、どれくらい前に告知が必要か、
費用はいくらかかる可能性があるかを、分かりやすい言葉で説明してください。
各ポイントの根拠となる一文も引用してください。
  • 資料を直接貼り付ける。 モデルは、曖昧な記憶に頼るよりも、コンテキスト内にあるテキストを処理する方がはるかに優れた力を発揮します。
  • 具体的に指示する。 詳細を付け加えるほど、予測の幅が狭まり、求めている回答に近づきます。
  • 提供したテキストからの引用や根拠を求める。 各ポイントを自分で確認できるようになります。
  • チャットが長くなって話が逸れたら新しく始める。 新しいチャットで簡潔な要約を伝える方が、うまくいく場合が多いです。要約ツールを使えば、そのまとめも簡単に作成できます。
「メモを持たない博識なライター」と考えてみてください。 幅広い本を読み、流暢な文章を書き、ほぼ何でも説明できますが、何かを調べ直すことはできません。持っている事実をこちらから提供し、分からない事実は自分で確認するようにしましょう。

実際の動きを試してみたいですか?GPTに自身の仕組みを5ステップで説明させ、わかりにくい部分について追加で質問してみましょう。

よくある質問

GPTは自分が書いている内容を理解していますか?

「理解」をどう定義するかによります。アイデア同士の関係性を捉え、説明や要約、論理的な思考を行う能力は十分に持っていますが、現実世界での体験はなく、事実ともっともらしい推測を確実に区別する手段も持ち合わせていません。

私のチャット内容から学習しますか?

会話中も、当チャットの異なる会話間でも学習することはありません。モデルの知識はトレーニング完了時点で固定されています。OpenAIは、API経由で送信されたデータについて、利用者が明示的にオプトインしない限りトレーニングには使用しないと明記しています。

もう一度質問すると違う答えが返ってくるのはなぜですか?

モデルは次のトークンを選ぶ際にわずかなランダム性を持たせているため、同じ質問でも言い回しや構成が変わることがあります。事実に関する質問で回答が異なる場合は、裏取りの確認をすべきサインです。

GPTとChatGPTは同じものですか?

いいえ、違います。GPTはOpenAIが開発したモデルのシリーズであり、ChatGPTはそれらをベースに構築されたOpenAI独自のアプリです。gpt.meはAPIを介してGPTモデルを利用する独立したWebサイトです。違いの詳細はChatGPTとの比較ページをご覧ください。

気になることを、今すぐ質問

アカウント登録もダウンロードも不要です。チャットを開いて質問を入力すれば、数秒で回答が始まります。

チャットを始める