LLM の長い文脈窓、実は半分しか効いていない説

200K と聞いて喜ぶ前に

各社モデルの「最大コンテキスト長」はあくまで 入る容量 であって、理解できる量 ではない。 直近のベンチでは、約 50% のサイズを超えたあたりから

• 中盤の指示の取りこぼし
• 後半に置いた制約の軽視
• 「最初に言ったこと」の優先度低下

が目に見えて増えてくる。

設計に落とすルール

1. 重要な指示は冒頭と末尾の二回: 中盤は埋もれる。
2. 構造化して渡す: ベタの長文より、見出し付きの XML/Markdown のほうが拾われやすい。
3. コンテキストは「選んで」渡す: 詰めれば詰めるほど良いわけではない。RAG の検索精度が結局効く。

入れた量に比例して賢くなるわけではない。 「拾われる場所に置く」設計が、結局いちばん安く速い。

ざっくりの目安

用途	推奨上限	備考
一発回答	〜30K	安定して全部読まれる
エージェント	〜80K	ツール呼び出しの履歴で膨らむ
ドキュメント要約	〜120K	中盤対策を必ず入れる

まとめ

容量は誇るが、設計は疑う。 長い窓は 保険 であり、設計の手抜きを正当化するものではない。