CyberpediaBrain

コンテキストウィンドウ:AIの作業記憶

コンテキストウィンドウは、AIアシスタントが一度に読める量を決めます。うまく読めない内容と、うまく使うための簡単な行動。

このページの内容
  1. 130秒でわかる要点
  2. 2概要
  3. 3よくある質問
  4. 4仕組み
  5. 5あなたが行うこと
  6. 6落とし穴
  7. 7出典
  8. 8この記事を引用する

30秒でわかる要点

発生する場所
AIアシスタントとのあらゆる会話で、長い文書を貼り付けたときや、複数の指示を与えたときです。
起きること
モデルはテキスト量の上限の中で作業します。その上限の内側でも、長いテキストの途中に置かれた情報をうまく使えないことがあります[3]。
とっさの行動
作業を分け、指示を冒頭に置いて末尾でも繰り返し、そのうえで回答を確認します[5]。
すでに実行した場合
元のテキストを手元に置いて、回答を1点ずつ読み直してください。

概要

AIアシスタントに質問すると、アシスタントは渡された情報をもとに答えます。Googleはこの情報をコンテキストと呼んでいます[2]。モデルが一度に考慮できるテキストの量を、コンテキストウィンドウといいます。Googleはこれを短期記憶にたとえています。人が覚えておける情報の量には限りがあり、生成モデルも同じです[2]。

このウィンドウは、ページ数ではなくトークンで測ります。最近のモデルではウィンドウが大きく広がりましたが、大きなウィンドウでも、その中身をすべて確実に読めるとは限らないことが、研究で示されています[3][4]。この記事では、従業員が押さえておくべき点と、誤りを減らす行動を説明します。

よくある質問

トークンとは何ですか

言語モデルは、まずテキストをトークンという単位に分けます。単語、文字のまとまり、あるいは単語と句読点の組み合わせです[1]。分け方はモデルによって異なります。たとえばOpenAIのGPTモデルは、サブワード単位で分けます[1]。Microsoftは、複数の音節からなる一般的な単語は1つのトークンに収まることが多く、まれな単語は音節ごとに分かれると述べています[5]。

コンテキストウィンドウとは何ですか

モデルが処理できるトークンの最大数です[1]。この上限は、入力のトークン(皆さんが書くもの)と出力のトークン(モデルが生成するもの)をあわせた、合算のウィンドウとして示されることが多くあります[1]。入力が長くなるほど、出力に残る余地は小さくなります。

Microsoftは数字を使った例を挙げています。ウィンドウが100トークンで、9語の文を単語ごとに分けると、入力は9トークンで、出力には91トークンが残ります。同じ文を文字ごとに分けると34トークンを使い、残りは66トークンだけになります[1]。

今のウィンドウの大きさはどれくらいですか

Googleによると、ここ数年に作られた生成モデルの大半は、一度に8,000トークンしか処理できませんでしたが、その後のより新しいモデルは32,000トークンや128,000トークンに対応しました[2]。Googleは、Geminiが100万トークンに対応し、これは平均的な長さの英語の小説8冊、またはコード5万行に相当すると述べています[2]。

モデルは、私が渡した内容を記憶していますか

指示の中に入れた例は、モデルを恒久的に変えるものではありません。今の回答の方向づけをするだけです[5]。Googleは、狭いウィンドウを扱うために使われていた方法を説明しています。新しいメッセージが来るにつれて古いメッセージを捨てる方法や、ウィンドウがほぼいっぱいになったときに要約に置き換える方法です[2]。

大きなウィンドウなら、誤りは起きませんか

いいえ。研究者たちは、Claude 3、Gemini Pro、GPT 3.5 Turbo、Llama 3 Instruct、Mistral Instructなど複数のモデルを、感情分析とニュース記事の分類で試しました。大きなウィンドウを持つにもかかわらず、モデルは長い系列に対して力不足を示すと報告しています[4]。Googleも限界を認めています。長いコンテキストの中から複数の特定の情報を探すとき、モデルは1つを探す場合と同じ正確さには達せず、性能はコンテキストによって大きく変わることがあります[2]。

仕組み

Microsoftは、指示がどのようなものであれ、モデルは学習データから見て最も確からしいと判断したものを答えとして返し、質問のために別の処理経路をたどるわけではないと述べています[5]。

情報の位置は重要です。2023年7月に投稿された研究「Lost in the Middle」は、2つのタスクでモデルの性能を測りました。複数の文書から質問に答えるタスクと、キーに対応する値を見つけ出すタスクです。著者らは、役立つ情報が与えられたテキストの冒頭か末尾にあるときに性能が最も高いことが多く、中ほどにあるときは、長いコンテキスト向けに設計されたモデルでも、性能が大きく落ちると述べています[3]。

Microsoftは、直近の情報に引きずられる偏りも説明しています。指示の末尾にある情報は、冒頭にある情報よりも回答に強く影響することがあります[5]。Microsoftはさらに、要素の順序によって結果が変わることがあり、モデルに示す例の順序も同じだと述べています[5]。

長さにはコストがかかります。生成AIのサービスは、トークン単位で課金することが多く、1分あたりのトークン数にも上限を設けています[1]。アシスタントを運用する組織にとって、OWASPはリスクの1つとして、コンテキストウィンドウを超える入力を送り続けることを挙げています。これは過剰なリソース消費を招き、サービスを劣化させることがあります[7]。OWASPは、入力が妥当なサイズの上限を超えないよう、厳格な入力検証を行うことを勧めています[7]。

あなたが行うこと

  • 作業を分けます。Microsoftは、言語モデルはタスクを小さな段階に分けたほうがうまくいくことが多いと述べています。たとえば、まず関連する事実を抜き出し、次に続きを書くといった進め方です[5]。
  • 指示を冒頭に置き、末尾でも繰り返します。Microsoftは、コンテキストや例の前に、指示の冒頭でタスクを述べると、より良い出力を得る助けになることがあり、指示を末尾で繰り返すことは試す価値があると述べています[5]。Microsoftはさらに、ChatGPTとGPT-4でのテストでは、最初の手法を使っても使わなくても同じ回答だったと付け加えています[5]。
  • モデルに逃げ道を用意します。Microsoftはたとえば、答えが見つからなければ「not found」と答えるよう求める方法を提案しています。これは、モデルが誤った回答を避ける助けになることがあります[5]。
  • 参照用のテキストを渡し、引用を求めます。Microsoftは、回答が信頼できる最新の情報に基づく必要があるときは、根拠となるデータをモデルに与えることを強く勧めています[5]。引用を求めると、誤った回答の頻度を減らせることがあります。また、回答の末尾にまとめた引用より、主張の近くにあるテキスト内の引用のほうが、有効な対策になります[5]。
  • 必ず確認します。指示をうまく書いても、Microsoftは、モデルの回答を検証する必要があると述べています。というのも、ある場面でうまくいった指示が、必ずしも一般化できるとは限らないからです[5]。

落とし穴

貼り付けた文書に指示が含まれていることがある

アシスタントがウェブサイトやファイルを読むとき、その内容にモデルが解釈する指示が含まれていて、モデルの動作が変わることがあります。OWASPはこれを間接プロンプトインジェクションと呼んでいます[6]。OWASPが説明するシナリオでは、ユーザーがモデルに、隠された指示を含むウェブページの要約を頼み、その指示によって非公開の会話が外部に持ち出されます[6]。OWASPは、信頼できない内容を分けて明確に示すこと、そして権限を伴う操作には人による承認を設けることを勧めています[6]。

大きなウィンドウは誤った安心感を与える

Googleは、探す情報が1つなら約99%の成功率が得られることがあるものの、複数の情報を見つけ出す必要があるときは結果が同じではないと述べています[2]。そのため、長いテキストの要点が抜け落ちていても、回答は完全に見えることがあります。

助言はモデルによって異なる

Microsoftは、モデルごとに動作が異なり、同社の手法がすべてに同じように当てはまるわけではないと注意しています。これらの手法は、gpt-5やoシリーズのような推論モデルには勧められていません[5]。

出典

  1. Microsoft, 「Understand tokens」. https://learn.microsoft.com/en-us/dotnet/ai/conceptual/understanding-tokens (2026年11月14日閲覧)
  2. Google, 「Long context | Gemini Enterprise Agent Platform | Google Cloud Documentation」. https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/long-context (2026年11月14日閲覧)
  3. arXiv, 「Lost in the Middle: How Language Models Use Long Contexts」, 2023年7月6日. https://arxiv.org/abs/2307.03172 (2026年11月14日閲覧)
  4. arXiv, 「Efficient Solutions For An Intriguing Failure of LLMs: Long Context Window Does Not Mean LLMs Can Analyze Long Sequences Flawlessly」, 2024年8月3日. https://arxiv.org/abs/2408.01866 (2026年11月14日閲覧)
  5. Microsoft, 「Prompt engineering techniques」. https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/prompt-engineering (2026年11月14日閲覧)
  6. OWASP, 「LLM01:2025 Prompt Injection」, 2024年4月10日. https://genai.owasp.org/llmrisk/llm01-prompt-injection/ (2026年11月14日閲覧)
  7. OWASP, 「LLM10:2025 Unbounded Consumption」, 2024年4月10日. https://genai.owasp.org/llmrisk/llm102025-unbounded-consumption/ (2026年11月14日閲覧)