AIの「自信80%」は、何が80%なのか

もっともらしい数字にも、確かめ方がある

AIが「自信80%です」と答えると、あと少し確認すれば使えそうに見えます。ただし、その80という数をどう作り、どんな質問で確かめたかが分からなければ、判断に使える確率だとは限りません。数字が細かいことと、その数字に根拠があることは別です。

2022年のこの研究は、GPT-3へ確信度を表現する追加学習を行い、算術課題CalibratedMathで検証しています。主な訓練は加減算、評価には複数の正答を持つ課題などを使いました。回答自体を固定して校正を評価した点が大切です。arXiv v2を参照し、査読済みとは断定しません。

校正は、同じ自信を持つ回答群で見る

校正の考え方は、たとえば80%と表現した回答が多数あれば、そのうち実際に正しい割合も80%に近いか、というものです。「この回答だけは80%正しい」と内容の一部を保証する意味ではありません。

次は研究結果ではなく、違いを理解する架空の10件です。自信80%の5件は「正・正・正・正・誤」。自信20%の5件は「正・誤・誤・誤・誤」。各組の正答割合は4/5と1/5なので、表示した自信と一致します。しかし全体では5/10しか正解していません。

この作例から分かるのは、集計上の自信の一致と正答率の高さが同じ性質ではないことです。たった10件で実モデルの校正が良いと認定する例ではありません。観察した割合は件数や出題の偏りでも動きます。

5分で、評価メモの列を分ける

まず紙に「問題／答え／AIが示した自信／正誤を確かめた方法／判定」の列を作ります。上の10件を入れ、自信ごとの正答割合と全体の正答率を別々に計算してください。80%の組にも誤答があることを、自分の表で見つけるのが最初の作業です。

手元のAI出力を一つ加えるなら、自分で正解を確認できる軽い課題にします。自信を聞いた時点の回答と数値を保存し、確認後に自信を聞き直した値へ差し替えません。答えが確認できないものは未確認とし、正解にも不正解にも数えません。

正誤を確認できた例だけを集めると、確認の簡単な問題に偏ることがあります。確認できた件数と未確認の件数も残し、「記録全体」と「正誤を確かめられた範囲」を分けて書きます。答えが合っていても、根拠や手順まで妥当だったとはこの記録だけでは判断できません。

自信を聞くことと、校正を改善することは違う

本文の小さな記録は、研究で用いた追加学習を再現するものではありません。「自信を正直に言って」と付け足すだけで、数値が校正されると研究から結論することもできません。モデルや課題が変われば、過去の記録をそのまま流用できるとは限りません。

実務でこの見方を使うなら、「90%以上なら無確認で採用」とすぐに線を引くより、まず自信が高かった誤答も記録に残します。必要なのは数字を増やすことではなく、その数字と結果を後で照合できる状態です。