検索付きAIでも、出典は雑に扱わないほうがいい
検索付きAIを使うと、最新情報を調べながら回答してもらえます。
これはとても助かります。
ただ、技術記事や調査メモを書くときに困ったことがありました。
「参考文献URLも出して」と頼んでも、期待した形でURLが返ってこないことがあります。
- トップページだけ返ってくる
- 記事タイトルはあるがURLがない
- それっぽいURLが出る
- 公式情報ではなくまとめ記事に寄る
- 出典が本文と対応していない
検索してくれることと、信頼できる出典を整理してくれることは、少し別の話なのだと思います。
OpenAIのWeb searchでは引用情報が返る
OpenAIの公式ドキュメントでは、Web searchを使った応答には、検索呼び出しの情報や、引用URLを示すアノテーションが含まれると説明されています。
つまり、仕組みとしては出典を扱うための情報があります。
ただし、実際に記事作成や調査に使うときは、こちらの聞き方や、最後の確認方法も大事になります。
AIが出したURLをそのまま信じるのではなく、自分で開いて確認するところまで含めて調査だと思っています。
雑に聞くと、雑な参考文献になる
最初は、だいぶ雑に聞いていました。
このテーマについて調べて、参考文献も出してください。
これでも回答は返ってきます。
ですが、参考文献としては少し弱いことがあります。
なぜなら、こちらが何を参考文献として求めているのかを指定していないからです。
技術記事であれば、見たいのは次のような情報です。
- 公式ドキュメント
- 仕様書
- リリースノート
- 一次情報に近い記事
- 実装元のREADME
逆に、誰かの要約記事や古いブログだけでは根拠として弱い場合があります。
出典の形式を先に指定する
自分が使うなら、次のように聞きます。
以下のテーマについて調べてください。
条件:
- 公式ドキュメントまたは一次情報を優先してください
- 各項目に、参照したURLを付けてください
- URLが確認できない情報は「URL確認不可」と書いてください
- 参考文献は最後に一覧でまとめてください
参考文献の形式:
- サイト名: ページタイトル
URL:
この記事で使った情報:
このように書くと、少なくともAI側に「どの形で出せばよいか」が伝わります。
完璧ではありませんが、ただ「参考文献も出して」と言うよりは確認しやすいです。
URLがあることと、正しいことは違う
注意したいのは、URLが出てきたからといって正しいとは限らないことです。
生成AIは、存在しそうなURLをそれっぽく作ってしまうことがあります。
なので、URLが返ってきたら必ず開きます。
自分が確認するのは、次の点です。
- ページが実在するか
- タイトルがAIの説明と合っているか
- 本文に該当する記述があるか
- 公開日や更新日が古すぎないか
- 公式情報か、二次情報か
この確認をしないまま記事に使うと、読者に誤った情報を渡してしまう可能性があります。
私の生成AI活用法。まず壁打ちして、最後は自分で決める と同じで、AIの回答は判断材料であって、最後の判断は自分に残ります。
技術記事では一次情報を優先する
技術記事では、できるだけ公式ドキュメントや一次情報に当たりたいです。
たとえば、OpenAI APIの記事を書くならOpenAIの公式ドキュメントを確認します。
Windowsのタスクスケジューラを書くならMicrosoft Learnを確認します。
ライブラリの記事を書くなら、公式READMEや公式ドキュメントを確認します。
これはSEOのためだけではありません。
読者が再確認できる状態を作るためです。
OpenAPIの基本を整理する のような技術記事でも、仕様やツールの話は一次情報へ戻れるほうが安心です。
自分で使っている確認フロー
自分が調査記事を書くなら、次の流れにします。
- AIに概要を出してもらう
- 公式情報を優先してURL付きで出してもらう
- URLを自分で開く
- ページ内検索で該当箇所を探す
- 記事には、自分が確認できた情報だけを書く
AIに出してもらった参考文献を、そのまま貼るのではありません。
一度自分の目で確認してから、本文に使います。
プロンプト例
実際に使うなら、次のような形がよさそうです。
次のテーマについて、技術記事を書くための調査をしてください。
テーマ:
OpenAI APIのWeb searchで出典URLを扱う方法
調査条件:
- OpenAI公式ドキュメントを最優先してください
- 公式情報がない場合のみ、信頼できる二次情報を使ってください
- 各主張に対応するURLを付けてください
- URLを確認できない情報は使わないでください
出力形式:
1. 要点
2. 記事に使える説明
3. 注意点
4. 参考文献一覧
ここまで書くと、あとから確認しやすくなります。
まとめ
検索付きAIを使っても、出典確認は雑にしないほうがよいです。
大事なのは、参考文献の形式を指定すること、一次情報を優先すること、URLを自分で開いて確認することです。
AIは調査を速くしてくれます。
ただし、記事として公開するなら、最後の確認は人間側に残ります。
読者が安心して再確認できる記事にするためにも、参考文献URLは丁寧に扱っていきたいです。