AIの総合点が高くても、自分の作業に強いとは限らない

同じ平均でも、見えない失敗がある

「評価で8割以上できた」と聞いたとき、その8割に自分の使いたい作業が入っているでしょうか。定型文の整形が多く、条件分岐を含む問い合わせが少ない評価なら、全体の数字だけでは後者の成績を読み取れません。

MMLUを提案したMeasuring Massive Multitask Language Understandingは、2020年初回投稿、ICLR 2021の研究です。57分野の多肢選択問題を使い、GPT-3など当時のモデルを評価しました。本文と付録には分野ごとの成績の偏りが示されています。この記事はarXiv v3を参照します。

全件の平均と、分類の平均を計算する

ここからは研究結果ではなく、集計を理解する作例です。架空のAI処理で「通常依頼は10件中10件成功、例外依頼は2件中0件成功」とします。全12件を一緒に数える成功割合は10/12で約83.3%です。

一方、分類別の成功割合は通常100%、例外0%。この2分類に同じ重みを置いて平均すると50%になります。どちらかが計算間違いなのではありません。全件を同じ重みにするか、分類を同じ重みにするかで、答えている問いが違います。

83.3%だけを見ると、例外依頼でも8割ほど成功すると読んでしまうかもしれません。50%だけでも、日常の依頼の半分が失敗したと誤解しそうです。「何を分母にしたか」と分類ごとの件数を添えれば、このずれを見つけやすくなります。

5分で、得点の横に件数を置く

紙に「分類／成功件数／総件数／割合」を書き、上の2行を埋めます。その下に全件集計と分類平均を置き、それぞれが何を等しく扱う数字か、一文で説明してください。平均の名前を覚えるより、重みの違いを自分で計算するのが狙いです。

次に自分のAI評価や比較資料を一つ開きます。全体の割合しかなければ、使う課題の分類が公開されているか、各分類の件数が分かるかを探します。分類別の成績が不明なら、総合点から埋めず「この作業については分からない」と残します。

分類は、結果を見て都合よく作り直さない

自分で評価するなら、通常と例外、短文と長文など、使い道に関係する分け方を先に置く案があります。成績の悪い例を後から別枠へ追い出して総合点を上げると、前の評価と比べられなくなります。分類を変更する必要がある場合は、理由と前後の集計を残します。

例外が2件とも失敗したという作例も、実際の例外全体が必ず失敗すると推定する材料には足りません。少ない分類は割合と件数を並べ、追加で確かめる対象にします。実務の頻度を反映する集計と、弱点を見つけるため均等に出題する集計を混ぜないことも大切です。

MMLUの科目をそのまま社内業務に当てはめる必要はありません。多肢選択の知識問題と、自由記述、手順実行、画面操作では評価するものが異なります。持ち帰るのは、その得点が何を含み、何を含まないかを確かめる視点です。