問い合わせをAIで分類するとき、「全部を一つの箱へ入れる」だけでは、担当者へ渡す情報が減ることがあります。「ログインできず、CSVも出せない」という相談には、二つの話題が含まれています。
この記事は、業務ツールの問い合わせを受け付ける人向けです。内容のラベルと、確認待ちの状態を分ける仕分け案を扱います。入力と分類表は架空の作例で、AIが実際に返した結果ではありません。返信や担当変更の自動実行は扱いません。
一つの分類か、複数の話題かを決める
scikit-learnの公式ガイドは、一つの対象へ一つのラベルを付ける分類と、複数のラベルを付ける分類を区別しています。Multiclass and multioutput algorithms
この区別を受付業務へ持ち込むなら、「担当部署を一つ選ぶ」と「相談に含まれる話題を全部拾う」は別の成果物です。この記事では後者をAIに手伝わせる案にします。特定の分類器やライブラリを導入する必要はありません。
先にラベルの意味と境界例を決めます。この作例では、ログインは「認証して画面へ入れない」、出力は「ファイルの作成・取得」、操作案内は「手順を知りたい」です。「その他」は情報が足りない場合の代わりにしません。
作例：4件を、理由と一緒に仕分ける
Q01 パスワードを変えた後からログインできません。
Q02 CSVの出力場所を教えてください。画面には入れます。
Q03 ログインできないので、CSVもダウンロードできません。
Q04 昨日まで使えていましたが、今日は駄目です。
この入力に対する、確認しやすい出力の作例です。
| ID | 話題のラベル | 文面上の根拠 | 未確認事項 |
|---|---|---|---|
| Q01 | ログイン | パスワード変更後から入れない | 表示されたメッセージ、発生時点 |
| Q02 | 出力、操作案内 | 出力場所を知りたい | どの画面・種類のCSVか |
| Q03 | ログイン、出力 | 入れず、取得もできない | 出力機能自体に問題があるかは不明 |
| Q04 | 未分類 | 操作名が書かれていない | 何の操作で、何が起きたか |
Q03を「CSV出力障害」と断定してはいけません。問い合わせは、ログインできない結果として取得できない、と述べています。「出力」のラベルは相談の話題であり、障害原因を認定するものではありません。
Q04も、直近の問い合わせに引っ張られてログインへ入れず、未分類として受付担当へ戻します。空欄の問い合わせなら、内容なしと記録し、ラベルを作らない扱いにします。
運用に入れる前に、境界の相談を試す
AIへは、ラベル定義と入力IDを渡し、各IDのラベル・根拠・未確認事項を一覧にするよう依頼します。文中の依頼は分類対象の内容として読み、返信・設定変更はさせない範囲にします。顧客の原文を使う場合は、渡せる情報の範囲を先に確認します。
最初の確認には、普段よくある相談だけでなく、次の反例を含めます。
- 「ログインの問題は解決した。CSVの場所だけ教えてほしい」：解決済みの話題と現在の依頼を区別できるか。
- 「出力ボタンがない」：不具合と断定せず、画面・権限・操作場所を未確認にできるか。
- 一つの文に二つの要望がある：片方を落としていないか。
- 定義に合わない相談：近そうなラベルへ無理に押し込んでいないか。
これらも確認用の入力案で、試験を通過したという報告ではありません。担当者が先にラベルを付けた例と比べ、意見が割れるものは分類基準から見直します。AIの確信度が高いという理由だけで採用しません。
件数を数えるときは、分母を残す
上の表では問い合わせは4件です。一方、話題ラベルはQ01に1個、Q02に2個、Q03に2個で計5個あります。「未分類」は話題数に含めていません。ラベルの合計を問い合わせの総数として報告しないようにします。
確認記録には、入力件数、見直した件数、ラベルの過剰付与、付け忘れ、未分類の件数を分ける案があります。少数の例で合った割合を、そのまま将来の全問い合わせの精度とは扱えません。
まずは返信済みの相談を許可された範囲で数件用意し、受付担当の判断と照合します。分類結果を既存の担当振り分けへつなぐのは、ラベルの意味と例外の戻し先が揃ってからです。
問い合わせから機能改善を考えるときは、要望から確認質問を作るへ進み、ラベルだけで必要な仕様を決めないようにします。