はじめに

AIの性能を語るとき、必ずといっていいほど話題にあがるのが「コンテキストウィンドウ」の大きさだ。
例えば、GPT-4.1やGemini 2.5 Proの「1M（100万トークン）」対応という謳い文句は、開発者や研究者の目を引くには十分なインパクトがある。だが、そのコンテキスト、果たして本当に“すべて”が意味を持つのだろうか？

この記事では、私がAIとのやり取りを通じて得た実体験をもとに、「コンテキスト量＝知能」というシンプルな構図に潜む違和感と、その実用的な限界について考察していく。

長大な記憶は、常に賢明か？

1Mのコンテキスト量というワードは確かに魅力的だ。だが、私が実際に複雑なドキュメント設計やWeb開発の支援タスクを試した結果、興味深い傾向に気づいた。

最初の10万トークン程度までは、モデルの応答精度は非常に高い。細かな指示も的確に把握し、文脈に基づいたクリエイティブな提案も飛び出す。だが、20万、30万とトークン数が増えるにつれ、少しずつ“理解のゆらぎ”が生まれ始めるのだ。

たとえば、ある長編JSONデータを用いたソロRPGのセーブ＆ロードプロジェクトでは、約40万トークンを超えたあたりからNPCの配置ミスや、シーンの整合性の乱れが顕著になってきた。「酒場にいたはずのキャラクターが、いつの間にか寺院に現れている」といった具合に、世界観がねじれてくるのだ。

問題は「量」ではなく「質の分布」にある

では、なぜこんなことが起きるのか。結論から言えば、「トークンが全て均等に処理されるわけではない」からだ。

LLMは、直近のトークンに強く依存するよう設計されており、過去に遡るほど重みづけが下がる（あるいは、部分的に忘却される）ことが多い。
あるユーザーが「最初の35万は素晴らしいが、80万を超えると破綻する」と語っていたが、それはまさにこの傾向を反映している。

1Mトークンという上限は、すべてを記憶できることを意味するわけではない。
あくまで「与えられた情報を保持する枠」なのであり、「その情報を均等に活かせる」とは限らない。

現場ではどう使い分けるか？

私自身、LLMを業務のコードレビューやWeb UI設計に導入しているが、以下のような運用が最も安定していた。

• 10万～20万トークン： 精度重視の分析や議論フェーズに最適。推論力も高い。
• 30万～50万トークン： ドキュメント記述や要件の蓄積には有効。ただし過信は禁物。
• 50万超： 長期チャットでの履歴保存用途にとどめる。タスク分割や新チャットへの移行を検討。

Gemini 2.5 Proは確かに強力だが、例えばUI設計においてはSonnet 3.7のほうが的確な場面もあった。要するに、「どのモデルが何に強いのか」を把握し、コンテキストの使いどころを見極めるセンスが問われる。

まとめ

「AIの知能は、コンテキストの長さで測れる」——そんなシンプルな方程式は、幻想にすぎない。
真に価値ある応答とは、与えられた文脈をどれだけ“意味的に”活用できるかにかかっている。

1Mという数値に安心せず、そのうちの“何トークンが実際に役立っているのか”を自分の目で確かめるべきだ。AIは魔法ではない。だが、正しく使えば、魔法のような力を発揮する。

次にあなたがAIに100万文字のプロンプトを渡すとき、それは知識の暴力か、それとも情報の調和か。
問うべきは、常にそこだ。