入れられる量と、使える情報は別の問い
「長い資料を全部渡したのに、必要な条件が回答から抜けた」。このとき資料をさらに足す前に、すでに渡した情報の使われ方を見たいところです。入力上限が大きいという仕様だけでは、今回の必要箇所が正しく参照されたかは分かりません。
Lost in the Middleは2023年の研究です。複数文書の質問応答では、NaturalQuestions由来の2,655問を使い、答えのある文書1件と妨害文書を並べ、答えの文書の位置を変えました。MPT-30B-Instruct、LongChatなど当時のモデルを評価しています。確認したのはarXiv v3で、arXivのCommentsにTACL採録の記載があります。
5枚の架空資料で、位置だけを動かす
ここからは記事独自の5〜10分の確認案です。実在の社内資料を送らず、短いメモを5枚作ります。資料Kに「研修ノアの受付締切は10月6日17時」と書き、残り4枚には別の研修の会場や持ち物を書きます。資料番号は移動しても変えません。
第1版はKを先頭、第2版は中央の3番目、第3版は末尾へ置きます。他の4枚の相対的な順序、文面、枚数は揃えます。質問は毎回「研修ノアの受付締切を日時と資料番号で答えてください」。質問を置く場所も固定し、別々の新しい会話へ送ります。
記録欄は「Kの位置／回答日時／示した資料番号／正答との一致」です。正答は10月6日17時、資料K。モデル名、確認日、変更できる生成設定も残します。3版の途中で質問を書き換えると、位置以外の違いが入り込みます。
違いが出ても、原因を決めつけない
中央だけ外れたら「中央に弱いと証明できた」ではなく、今回の配置で差が出た、と記録します。生成のばらつきもあり得るため、次に同じ条件で再確認する候補です。外れた回を消し、正解した配置だけを成功例にしないようにします。
全部正解なら、この短い5枚では差を見つけなかったという結果です。長い契約書や何十件もの検索結果も読めるという意味ではありません。逆に全版で外れたら、質問の曖昧さ、資料内の矛盾、そもそも入力が渡っているかを先に見ます。
資料Kを目立たせるために太字や「重要」を追加すると、位置と強調を同時に変えてしまいます。比較する間は見出しの形や区切りも揃え、答えを質問側へ書き足さないようにします。通信失敗や回答拒否が起きた場合は、日時の誤答と混ぜず別の状態として残します。
配置の工夫より、確認方法を持ち帰る
この比較の目的は「大切なことを必ず先頭に置けば安全」と決めることではありません。必要な情報の正答と参照元を先に用意し、位置を変えても使えるかを見ることです。資料の重要度を自分が知っている試験なので、未知の重要箇所を自動で探す能力までは測れません。
手元の仕事に広げるなら、影響の小さい案内文から始めます。一度の正解だけで任せる範囲を広げず、抜けた箇所と条件を残せれば、次に何を確かめるかが具体的になります。
活用のアイデア
小さく試すなら
5〜10分で、架空の短い資料5枚を作り、回答を含む1枚だけを先頭・中央・末尾へ移した3版を用意する。同じ質問を別々の新しい会話で送り、回答・資料番号・モデル名を記録する。長文性能の再現実験とはせず、差が出るかの入口として使う。
役に立つ場面
資料を短くする前に、抜けが内容そのものか配置に関係しそうかを切り分ける、小さな比較の作り方が分かる。
試す前に確認すること
深めるなら
- 架空の資料5枚と、資料Kから答えられる質問を一つ作る。
- 内容を変えずKだけ先頭・中央・末尾へ移し、新しい会話で比較する。
- 正誤と参照番号を残し、差が出た条件だけ次の再確認候補にする。
研究の限界
- 2023年の対象モデルと課題の結果であり、現在の製品性能の説明ではない。
- 5枚の短文は論文の長文評価の再現ではなく、記事独自の小規模な確認案。差がなくても長文への保証にはならない。
- 文書QAや合成検索から、要約・複数文書をまたぐ推論全体には一般化しない。