AIを評価するときは、使う前の期待も残す

新しいAIツールを触ったあと、「これは賢い」「思ったより微妙だった」とすぐ判断したくなることがあります。評判を聞いてから触ると、その感想はさらに強くなります。期待していたぶんだけ少し物足りなく感じたり、逆に期待していなかったぶんだけ良く見えたりします。

厄介なのは、その感想が間違いとは言い切れないところです。使い心地も大事な判断材料です。ただ、成果物の良し悪しと、最初に抱いていた期待が混ざったままだと、次にどのツールを使うかを決めるときに少し危うくなります。

この研究では、参加者が同じモデルを使っていても、先に見せられた能力表示によって印象や使い方が変わりました。高く見せられた人は短く指示を重ね、低く見せられた人は長めに文脈を渡して協力するように使う傾向がありました。一方で、最終成果の品質は見せ方よりも実際のモデル能力に対応していました。

ここから借りたい見方は、AIの評価を「成果」と「期待」に分けて見ることです。たとえば資料のたたき台を作る前に、「今日は構成案まで出れば十分」「表現の細部までは期待しない」と1行だけ書いておく。作業後に成果を見るとき、そのメモがあるだけで、がっかりや過大評価を少し扱いやすくなります。

今日試すなら、AIに頼む前にメモを3行だけ書きます。1行目に「聞いている評判」、2行目に「今回期待する成果」、3行目に「作業後に見る基準」を置きます。たとえば「このモデルは文章がうまいらしい」「議事録の論点整理までできれば十分」「抜け漏れが3つ以下なら採用」のような形です。

作業後は、その3行の横に結果を書き足します。AIが良かったか悪かったかを一言で決めるより、「期待より良かった部分」「期待より弱かった部分」「次は指示を変える部分」に分けるほうが、次の使い方に残ります。

AI活用では、ツールそのものの能力だけでなく、自分がどう構えるかも結果に影響します。過度に期待すると雑に命令しがちになり、低く見積もると丁寧に文脈を渡せることがあります。どちらが常に正しいというより、自分の構えを見える形にすることが大事です。

期待をメモするのは、AIを疑うためではありません。自分の判断を未来の自分に渡すためです。次に同じような作業をするとき、「前回は期待値が高すぎた」「この用途では十分だった」と見返せるだけで、AIとの付き合い方は少し落ち着きます。