CyberpediaBrain

AIが毎回違う答えを返す理由

言語モデルは同じ質問に違う答えを返すことがあります。温度、Top-p、Top-kが何を調整するのか、そして従業員が何をすればよいかを説明します。

このページの内容
  1. 130秒でわかる要点
  2. 2概要
  3. 3よくある質問
  4. 4仕組み
  5. 5従業員がすること
  6. 6落とし穴
  7. 7出典
  8. 8この記事を引用する

30秒でわかる要点

発生場面
文章を生成するツールで、質問するたびに起こります。Microsoftは、同社のページで紹介している手法は推論モデル(gpt-5、oシリーズ)には推奨されないと述べています[1]。
モデルの動き
確からしい候補の中から1語ずつ選びます。そのため、流暢で自信ありげな答えが、確認済みの答えだとは限りません。
とっさの行動
質問をもう一度投げて答えを比べ、事実と数字は使う前に必ず出典で確かめます。
すでにやってしまった場合
確認せずに数字や引用を使ってしまったときは、資料を配布する前に出典を探してください。

概要

AIアシスタントに同じ質問を2回すると、2つの答えが食い違うことがあります。数字が違うこともあれば、内容そのものが違うこともあります。機械が間違えているとは限らず、迷っているわけでもありません。言語モデルは、直前の文章から見て最も確からしい言葉の続きを探します[1]。次の言葉を選ぶ際には偶然の要素が含まれており、その度合いは調整できます。

この記事では、その偶然がどこから来るのか、ツールで見かける設定(温度、Top-p、Top-k)が何を意味するのか、そして従業員がこのばらつきにどう向き合えばよいかを説明します。答えを比べ、確かめ、1回きりの答えを証拠として扱わないことです。

よくある質問

なぜAIは試すたびに違う答えを返すのですか。

モデルは出来合いの答えを取り出しているわけではないからです。Microsoftは仕組みをこう説明しています。モデルは、与えられた文章の後に続く最も確からしい言葉の並びを作ろうとします[1]。選んだ温度によって出力の偶然性が変わるので[1]、試すたびに結果が変わりえます。質問は同じでも、たどる道筋は同じではありません。

温度は何を調整するのですか。

温度はモデルの出力を変えます[1]。Microsoftの文書では、0から2の間で設定します。0.7のように高い値にすると出力の偶然性が増し、答えがばらつきます。0.2のように低い値にすると、出力は焦点が定まり具体的になります[1]。同じ文書によると、創作の物語を書くには高めの温度が向き、法律文書には、はるかに低い温度が推奨されます[1]。

Top-pとは何ですか。

Top-p(Microsoftの文書ではTop_probability)も答えの偶然性を制御しますが、温度とは別の方法です[1]。Microsoftの一般的な推奨は、2つを同時に変えず、どちらか一方だけを変えることです[1]。2019年の論文は、核サンプリング(nucleus sampling)を提案しています。確率分布の中で動的に決まる「核」から文章を選ぶ方法で、多様性を残しながら、信頼できない分布の裾を除外できます[2]。

Top-kとは何ですか。

ここで挙げた出典はTop-kを詳しく説明していません。そのうちの1つが、Top-kを核サンプリングと、もう1つの方法である局所的典型サンプリングと比べているだけです。著者らによれば、局所的典型サンプリングは同等の品質を保ちつつ、退化した繰り返しを一貫して減らします[3]。従業員としては、こうした設定があることを知っていれば十分です。

ならば、偶然性をなくせばよいのではありませんか。

文章が貧弱になるからです。2019年の論文は、常に最も確からしい文章を選ぶと「bland and strangely repetitive」な文章、つまり味気なく、奇妙に繰り返しの多い文章になると指摘しています[2]。また、まったく同じモデルでも、デコード戦略だけで文章の品質が大きく変わりうると述べています[2]。

一度正しい答えが返ってくれば、そのAIは信頼できるということですか。

いいえ。Microsoftは自社の手法についてこう述べています。うまく使っても、モデルの答えは検証する必要があります。また、ある場面でうまくいった丁寧なプロンプトが、他の場面にも通用するとは限りません[1]。

仕組み

モデルは各段階で複数の言葉の候補を持ち、それぞれに確率が付いています。いつも先頭の候補を選ぶわけではありません。温度とTop-pは、この選択の幅を広げたり狭めたりする方法を調整します[1]。値が低いと答えは似通い、値が高いと答えはばらつきます。

これらの設定は、モデルに問い合わせるツールによって決まります。デコード戦略によって、同じモデルが生成する文章の品質は変わります[2]。

InstructGPTをはじめとする一部のモデルは、人間のフィードバックで調整されています[4]。InstructGPTを生んだ研究は、大きいモデルほどユーザーの意図によく従うわけではなく、誤った出力、有害な出力、あるいは単に役に立たない出力を返すことがある、という認識から出発しています[4]。著者らは、このモデルが真実性を高めた一方で、まだ単純な間違いをすると記しています[4]。調整されたモデルでも、間違えることはあります。

従業員がすること

  • 質問を2、3回やり直して比べます。事実、名前、数字について答えが食い違うなら、どの版も確定したものとは言えません。
  • 答えは下書きとして扱います。手紙や報告書に使う前に、事実と数字を1つずつ参照資料で確かめてください。
  • モデルに出典を求め、そのうえで出典を確認します。Microsoftによると、引用を求めた場合、誤った答えが出るにはモデルが2つの誤りを犯す必要があります。答えを作り上げることと、引用を誤ることです[1]。これにより、誤った答えの頻度が下がることがあります[1]。
  • 一度うまく答えたからといって、そのツールが信頼できると結論づけないでください。複数の場面で、ツールが知らない場面も含めて試します。
  • ツールで選べるなら、正確さが必要な作業には低い温度、創作的な作業には高い温度を使います[1]。

落とし穴

もっともらしいが作り話の答え

モデルは最も確からしい続きを探します[1]。そのため、答えが整った文章でも間違っていることがあります。Microsoftは、「事実だけを書いて」「何も作らないで」といった指示では、問題が直らないことがあると述べています[1]。

自信ありげな口調

2023年の研究は、ChatGPT、GPT-4、Claudeなどのモデルについて、モデルの確信度を測る2つの方法を比べました[5]。モデル自身が言葉で述べる確信度は、TriviaQA、SciQ、TruthfulQAの各テストセットで、内部の確率より一般に較正がよく取れていて、期待較正誤差を相対で50%減らすことも多いと報告しています[5]。この研究は、信頼できるシステムの確信度は答えが正しい確率を示すべきだという考えに立っています。確信度が低いときには専門家に任せられるようにするためです[5]。

業務プロセスで再現できない結果

プロセスのある工程(たとえば郵便物の振り分け)がモデルに頼っている場合、同じ入力でも2回の実行で異なる結果が出ることがあります。ある日に品質管理を通過しても、翌日の結果は保証されません。異議が出た結果が、そのまま再現されるとも限りません。英国の国家サイバーセキュリティセンター(NCSC)は、AIシステムが意図どおりに動作するためのガイドラインを推奨し、セキュリティはシステムの全期間を通じた基本要件であるべきだと考えています[6]。従業員にとっての実践的なルールは、結果が何らかの作用を及ぼす前に、人が読み直すようにしておくことです。

温度を設定しても正確さは保証されない

温度を下げると、答えは焦点が定まります[1]。ただし、真実に近づくわけではありません。誤った答えが、試すたびにそっくり同じ形で繰り返されることもあります。複数回の試行を比べれば不安定さには気づけますが、事実を確定できるのは出典での確認だけです。

出典

  1. Microsoft, 「Prompt engineering techniques - Microsoft Foundry」. https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/prompt-engineering (2026年11月3日閲覧)
  2. arXiv, 「The Curious Case of Neural Text Degeneration」, 2019年4月22日. https://arxiv.org/abs/1904.09751 (2026年11月3日閲覧)
  3. arXiv, 「Locally Typical Sampling」, 2022年2月1日. https://arxiv.org/abs/2202.00666 (2026年11月3日閲覧)
  4. arXiv, 「Training language models to follow instructions with human feedback」, 2022年3月4日. https://arxiv.org/abs/2203.02155 (2026年11月3日閲覧)
  5. arXiv, 「Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback」, 2023年5月24日. https://arxiv.org/abs/2305.14975 (2026年11月3日閲覧)
  6. NCSC (Royaume-Uni), 「Guidelines for secure AI system development」, 2023年11月27日. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (2026年11月3日閲覧)