AIに候補を減らしてもらう前に、迷った箱を作る

AIに候補を仕分けてもらう場面は増えました。読みたい記事、調べる論文、問い合わせの優先順位、週末に片づけるタスク。数が多いと、まず減らしたくなります。

ただ、最初の仕分けに「捨てる」を混ぜると少し怖さがあります。AIが早く分けてくれるほど、落とされた候補を見返す機会が減ります。後から必要だったものに気づいても、どの判断で消えたのかが追いにくくなります。

今回読んだ研究は、scoping review のタイトルと要旨を、人間とLLMの複数ワークフローで仕分けています。1,131件の候補を対象に、残す件数、見つけられた eligible records、判断の一致、同じように実行したときの揺れを分けて見ています。

印象的だったのは、どの単独ワークフローも verified eligible records を全部は回収できなかった点です。GPT-5.4 の file-batch 実行は人間に近い workload-recall の形を見せましたが、名目上同じ条件で繰り返した2回にも94件の判断差があり、その中には片方だけが残した verified eligible records も含まれていました。

ここから日常に借りたいのは、AIのモデル名だけで安心しないことです。研究が「迷った箱」の効果を直接証明したわけではありません。候補を減らす作業では、どの手順で、どれだけ残し、どこを人間が見るかまで含めて判断したほうがよさそう、という見方として使います。

次にAIへ候補の仕分けを頼む前に、三行だけ書きます。「必ず残す条件」「迷ったら入れる箱」「落とす前に自分が見る範囲」です。AIに渡す前に、捨ててよいものと、まだ人間が見るものを分けておきます。

たとえば読む論文を10本から3本に減らすなら、「実験条件が本文で確認できるものは残す」「日常の行動に落ちるが根拠が弱いものは迷った箱」「落とす候補から2件だけ理由を読む」と書きます。これなら5分から10分でできます。

慣れてきたら、AIの仕分け結果を一つの点数で見ないようにします。どれだけ減ったか、見落とすと困るものをどれだけ保留できたか、落とす前に人間が見る場所を残せたかを分けます。

影響が大きい判断では、この小さなメモだけで終わらせないほうが安全です。医療、法律、金融、採用、評価のような場面では、自動で除外しない。小さな調べものや作業リストの整理で、AIの速さを借りつつ、最後に見る場所を人間側へ残す練習から始めるのがよさそうです。