AIの確信度95%はなぜ外れる？数値が作られる仕組み
画像出典: © susi-paku / PAKUTASO
AIに確信度を尋ねて返ってくる「95%」は、内部の確率計算を読み上げた値ではなく、その場で生成された文章の一部です。実際に誤答へ93%の確信度が付いた事例が研究で報告されており、数値の高さは正しさの保証になりません。固有名詞・数値・日付は、確信度にかかわらず一次情報での裏取りが必要です。
資料づくりの途中でAIに調べ物を頼み、返ってきた答えに自信ありげな数値が添えられている。数値が付いていると、根拠のある計算結果のように見えます。でも、その95%がどこから出てきた数字なのかは、画面には書かれていません。
結論から言うと、あの数値はモデルが内部で持っている確率をそのまま読み上げたものではなく、その場で生成された文章の一部です。仕組みを一度知っておくと、どこまで任せてどこから自分で確かめるかの線が引けるようになります。
AIの「確信度」とは何を指しているのか？
まず前提を合わせます。大規模言語モデル（LLM＝大量の文章で訓練された、次に来る言葉を予測する仕組み）は、文章をトークン（単語より細かい文字のかたまり）単位で「次に来る確率が高いもの」を選んで文を作っています。辞書を引いて事実を確認してから答えているのではなく、訓練データのパターンにもとづく確率的な予測です。
ここまでは、AIの仕組みを一度でも読んだことがある方なら同じ認識だと思います。分かれ目はこの先です。「確信度を%で教えて」と頼んだとき、モデルはその内部の確率値を取り出して見せているわけではありません。「この回答の確信度は95%です」という文章もまた、次に来る言葉の予測として生成されています。自己評価を言語化する追加の推論が走っている、という形です。
たとえるなら、計算機の液晶に出た数字ではなく、人が「たぶん9割がたは合ってると思うよ」と口で言うのに近い。本人の感覚は入っていますが、測定値ではありません。
完全な当てずっぽうというわけでもありません。モデルは回答の確からしさに関する手がかりをある程度は反映します。ただし、その数値が揺れやすいことが問題になります。Claudeに自己申告の確信度を答えさせた研究では、数値が質問の文脈や指示の与え方によって変動し、モデル自身の知識状態を一貫して反映しているとは言えない結果が報告されています。条件の違いによるスコアのばらつきが、項目ごとの知識の差よりも大きかった、という形です。
なお、2026年11月時点で、主要なチャットAIに数値の確信度バッジが常時表示される公式機能は確認できません。目にする「確信度◯%」は、ユーザーが尋ねたときに生成される形が中心です。
「キャリブレーション」とは？ 確信度の正しさを測る物差し
この分野には、確信度の良し悪しを測るための言葉があります。キャリブレーション（calibration）です。意味はシンプルで、「80%の確信度と言った回答が、実際に80%の確率で正しいか」の一致度を指します。LLMの信頼性を測る主要な指標の一つとして使われています。
10回「80%」と言ったうち8回当たっていればキャリブレーションが良い。10回とも当たっていたら、それは自信不足ということになります。正答率そのものではなく、申告と実態のズレを見ている点が肝心です。
- 事前学習（大量の文章で学習させる最初の段階）直後のモデルは、比較的キャリブレーションが良いことが報告されている
- その後のRLHF（人間のフィードバックによる強化学習での調整）などの過程を経ると、過信の傾向が強まるとされる
- キャリブレーションが良いことと、正確であることはイコールではない
3点目は直感に反するので補足します。一貫して間違った答えに高い確信度をつけ続けても、統計上は「キャリブレーションが取れている」と判定され得る、という矛盾が指摘されています。物差しが整っていることと、答えが合っていることは別の話だということです。
数値が高くても間違えるのはなぜ？ OpenAIの研究が示した構造
では、なぜモデルは自信満々に間違えるのか。ここに正面から答えたのが、OpenAIが2025年9月5日に公開したブログ記事「Why Language Models Hallucinate」と、それに付随する論文です（著者はOpenAIの研究者3名と、ジョージア工科大学のSantosh Vempala教授）。
研究の核心は、モデルの性能ではなく評価のしかたに原因があるという指摘です。現在主流の学習・評価方法は、「わからないときに答えない」ことより「とりあえず答えを出す」ことを、スコアの上で有利にしてしまっている。
テストの採点を思い浮かべると分かりやすいと思います。空欄は確実に0点、埋めれば当たる可能性がある。この採点方式なら、受験者は分からなくても何か書くのが合理的です。統計的には、自信なく不正解を出すより、自信満々に答えを出す方が平均スコアが高くなる構造になっているため、モデルは「わからなくても、それらしく言い切る」方向に最適化されていきます。
93%の確信度で誤答した実例
具体的な事例も報告されています。IEEEのフランク・ローゼンブラット賞の受賞者を問う質問に対し、あるLLMは「ジェフリー・ヒントン」と回答し、93%という高い確信度を提示しました。正解は菅野道夫（Michio Sugeno）です。
注目したいのは、この誤り方が「自信なさげに外した」のではないところです。高い数値が添えられた誤答は、受け取る側にとってもっとも見抜きにくい形で届きます。
2025年の複数の研究で、LLMは平均して過信する傾向があり、難しいタスクほど過信が強まり、簡単なタスクではやや自信不足になるという非対称性が報告されています。回答の信頼区間（答えが入ると見込まれる範囲）を作らせる実験でも、体系的な過信が確認されています。つまり、こちらが「自信の数値がいちばんほしい難問」でこそ、数値は当てにしにくくなります。
さらに、Dunning-Kruger効果（知識が浅い人ほど自己評価が高くなる現象）の観点からLLMの自己評価の誤差を分析した2026年の研究では、知識が浅い領域ほど自信過剰になりやすいという、人の認知バイアスに似たパターンが見られるとされています。
この構造は改善されるのか？ 行動的キャリブレーションという提案
OpenAIは原因の指摘だけでなく、改善策も提案しています。「行動的キャリブレーション」と呼ばれる考え方です。
- 閾値を決める一定の確信度（例: 75%）を超えない場合は「わからない」と答えるようモデルを訓練する。
- 採点方法を変える評価の側も、自信満々な誤答を減点し、適切な保留＝「わからない」と言うことに加点する方式へ改める。
- 答えない選択肢を正当化する空欄が常に損になる採点をやめ、分からないときに黙ることを合理的な振る舞いにする。
興味深いのは、その影響の大きさです。試算では、75%の確信度閾値を適用すると、ChatGPTは全体の約30%の質問に「わからない」と答えることになる可能性があるとされています（訓練データに事実が欠けていることに起因します）。
3回に1回近く「わかりません」と返ってくるAIを、私たちが不便と感じるか誠実と感じるか。現在の饒舌さは、こちらの期待に合わせた結果でもある、という裏返しの事実がここに見えます。
実務で確信度とどう付き合えばいい？
仕組みが分かったところで、明日からの使い方に落とします。前提は一つ、確信度の数値は事実確認の結果ではなく、それらしい言い回しの一種として扱うことです。
- 固有名詞（人名・企業名・製品名・賞の名前）
- 数値（金額・件数・割合・順位）
- 日付（発表日・施行日・期限）
- 引用・条文・規約の文言そのもの
逆に言えば、文章の構成案やたたき台、言い換えの候補のように、こちらが読んで良し悪しを判断できる出力については、確信度を気にする意味はあまりありません。裏取りが要るのは、読んだだけでは真偽が分からない種類の情報です。
「わからない」と言わせるには？
保留的な回答を引き出したいときは、プロンプトで明示的に指示する方法があります。Anthropicの公式ドキュメントでも、「不確かな場合は、はっきりとその旨を述べて」のように指示することで、保留的な回答を引き出しやすくなる実践例が示されています。
依頼文の最後に一行足すだけです。たとえば「確証がない箇所は、推測であると明示してください」「出典が思い出せない数値は、数値を書かずに『未確認』としてください」。ただし、これはモデルの基本的な傾向そのものを変えるものではありません。出やすくなる、という程度に見ておくのが安全です。
返ってきた答えが怪しいとき、どこを疑うか
確信度が高いのに内容が噛み合わない、という場面に出くわしたら、原因を3つに切り分けると次の一手が決まります。
| 疑う場所 | 見分けかた | 打つ手 |
|---|---|---|
| 指示文 | 前提や範囲を書かずに聞いていた／複数の問いを一度に投げていた | 問いを1つに絞り、期間・対象・出典の条件を明記して聞き直す |
| 渡した資料 | 資料を添えずに記憶だけで答えさせていた／添えた資料に該当箇所がない | 一次資料を添付し、「添付の範囲内で答え、無ければ無いと書く」と指定する |
| モデル側の限界 | 資料を添えて問いを絞っても、固有名詞や数値だけが毎回ずれる | その項目はAIに答えさせず、自分で一次情報を確認する |
上の表で言う3段目に当たるなら、プロンプトを練り直しても改善しない可能性が高い部分です。訓練データに該当する事実が無ければ、聞き方を変えても出てこないからです。
確信度の表示は、読み方さえ分かっていれば役に立たないわけではありません。低い数値が返ってきたときは、少なくとも「ここは怪しい」という目印にはなります。高い数値を安心材料に使わない、という一点だけ押さえておけば十分です。
よくある質問
AIが出す「確信度95%」は内部の確率を表示しているのですか？
いいえ。大規模言語モデルに確信度を尋ねたときに返ってくる数値は、内部で保持している確率値をそのまま読み上げたものではなく、自己評価を言語化する追加の推論として生成された文章の一部です。測定値ではなく、生成された言葉として扱うのが適切です。
キャリブレーションとは何ですか？
キャリブレーション（calibration）とは、モデルが80%の確信度と言った回答が実際に80%の確率で正しいかどうか、という申告と実態の一致度を指す学術用語です。大規模言語モデルの信頼性を測る主要な指標の一つですが、キャリブレーションが取れていることと回答が正確であることは別物で、一貫して誤った答えに高い確信度をつけ続けても統計上は一致していると判定され得ます。
確信度が高いのに間違える原因は何ですか？
OpenAIが2025年9月5日に公開した研究「Why Language Models Hallucinate」によれば、現在主流の学習・評価方法が「わからないときに答えない」ことより「とりあえず答えを出す」ことを評価上有利にしているためです。自信なく不正解を出すより自信満々に答えるほうが平均スコアが高くなる構造のため、モデルは分からなくても言い切るように最適化されます。実際に、誤答に93%の確信度が付いた事例が研究で報告されています。
AIに「わからない」と答えさせることはできますか？
プロンプトで「不確かな場合は、はっきりとその旨を述べて」のように明示的に指示すると、保留的な回答を引き出しやすくなるとする実践例がAnthropicの公式ドキュメントで示されています。ただしモデルの基本的な傾向を完全に変えるものではないため、固有名詞・数値・日付など検証可能な事実は一次情報での裏取りが必要です。
※記事で使用した内容・数値は変更される場合があります。最新情報は公式サイトをご確認ください。