AIに図を読ませる前に、見る数字と根拠を一つ決める

資料のスクショやグラフをAIに渡すと、内容を一気に言葉にしてくれます。会議前の確認、教材の読み込み、ダッシュボードのざっくり把握などではかなり助かります。

一方で、図の読解は文章要約よりも油断しやすいところがあります。AIが自然な説明を返してくると、軸、凡例、縮尺、色の意味まで正しく読めているように感じてしまうからです。

本当に知りたいのが「だいたいの傾向」ならそれで足りることもあります。けれど、数字の大小や変化量をもとに判断する場面では、どこを見てその答えになったのかを残さないと、あとで自分が困ります。

今回の研究は、科学可視化をどれくらい読めるかを、6つのマルチモーダルLLMと人間の基準で比べています。49問を使い、画像やアニメーションに対して、外部知識ではなく与えられた図とキャプションだけで答えさせる条件でした。

結果として、モデルは探索や空間理解が得意な一方、細かな数量推定、流れの向き、色や透明度が何を表しているかの読み取りで崩れる場面がありました。つまり、図を見ているようで、根拠にすべき手がかりを別のものに置いてしまうことがあります。

これは専門的な科学図に限った話ではありません。売上グラフ、アクセス解析、学習資料の模式図でも、AIに聞く前に「どの数字を見るのか」「どの凡例を根拠にするのか」を決めておくと、答えの受け取り方がかなり変わります。

画像をAIに渡す前に、次の3行だけ書きます。 知りたい数字: 例、先月からどれくらい増えたか 見る場所: 例、右上の折れ線グラフ 根拠: 例、横軸は日付、縦軸は件数、青線は新規ユーザー

そのうえでAIには、「答えと一緒に、どの軸、凡例、キャプションを根拠にしたかも一文で返して」と頼みます。答えが正しそうかを見るだけでなく、根拠の置き場所が合っているかを見るためです。

5分で十分です。画像を全部読み解こうとせず、判断に使う一点だけを決める。これだけで、AIの説明をそのまま採用するか、一度保留するかを分けやすくなります。

すべての図で細かく確認する必要はありません。まずは、数字、比較、増減、場所、方向のどれかが判断に関わる図だけでよさそうです。

答えがずれていたときは、「AIが何を根拠にしたか」も一緒に残しておきます。軸を見落としたのか、凡例を取り違えたのか、見た目の濃さを意味だと思ったのか。そこまで残ると、次に画像を渡すときの依頼文が少し良くなります。

AIで図を読む速度は上がります。ただ、どの手がかりを信じるかは人間側に残る判断です。まずは一つの数字と一つの根拠を外に出すところから始めるのが、現実的な付き合い方だと感じます。