AIの失敗は、直す前に形をそろえて見る

AIに同じ作業を頼んで失敗すると、すぐプロンプトを長くしたくなります。「もっと丁寧に」「条件を守って」「形式を崩さないで」と、注意書きが少しずつ増えていく感じです。

その直しが合う場面もあります。ただ、失敗の形が毎回違うなら、一つの注意書きでは受け止めきれません。昨日は形式、今日は対象範囲、次は前提の読み違い。そういう散らばりを、同じ失敗として扱うと空回りします。

今回の研究から借りたい見方は、平均の出来だけでなく、外れ方のまとまりを見ることです。ある失敗がいつも同じ原因で起きるなら、チェックリストや一行ルールで直せる候補になります。

反対に、外れ方が毎回違うなら、ルールを増やす前に、モデル、温度、依頼範囲、入力の切り方を見直すほうが合うかもしれません。人間側の仕事は、AIの失敗をすべて自分ルールへ変えることではなく、直せる失敗と環境を変える失敗を分けることです。

今日できるのは、失敗した依頼を一つだけ選び、同じ条件で2回か3回だけ流し直すことです。大きなタスクではなく、要約の一段落、テスト観点の洗い出し、メール文面の整形くらいで十分です。

結果は三つに分けます。「成功した」「同じ理由で外れた」「違う理由で外れた」。同じ理由で外れたときだけ、一行ルールの候補にします。違う理由で外れたなら、注意書きを増やす前に、入力を小さくするか、別のやり方に切り替えます。

一度の失敗をすぐ恒久ルールにしないほうが、AIとの作業は軽くなります。ルールが増えすぎると、守りたい意図より、過去の失敗の寄せ集めが前に出てきます。

同じ依頼で同じ外れ方をする。別の日にも同じ外れ方が出る。そこまで見えたら、短いルールとして残す価値があります。散らばった失敗は、ルール化ではなく、依頼の単位や使う道具を見直す合図として扱う。そのくらいの距離感が、未来の自分にも渡しやすい記録になります。