AI回答の正誤を社員が違って判断するときは?採点の根拠をそろえる

AI活用 · 実務ガイド
AI回答の正誤を社員が違って判断するときは?採点の根拠をそろえる
同じAI回答を営業は合格、倉庫は不合格と判断した。評価責任者は、多数決をする前に、各担当が何を見て、どの資料で判定したかをそろえます。読みやすさと出荷できる根拠は別の確認です。
架空の卸売会社で、欠品時の返答を営業と倉庫が採点する例です。同じ回答、判定軸、使用資料、違った理由を並べ、基準を直した後に再判定する記録を作れます。

この記事でできるようになること
- 評価者別の判定と根拠を並べた比較
- 同じ資料・判定軸を使う採点基準
- 基準改訂後の再判定と残る不一致の記録
01 / AI活用
営業と倉庫は同じ回答を採点した?
評価責任者が質問、回答、資料、版を固定して確認します。

架空の質問Q141は「欠品の商品をどう案内するか」です。AIは「入荷後に出荷予定を案内します」と返した設定です。営業は読みやすいと合格、倉庫は入荷予定が未確認と不合格を付けました。
評価責任者はQ141の質問、保存した回答、在庫資料I31、入荷資料I32をそろえます。各担当が別の資料や別の生成回答を見ていたなら、同じ回答の判定差とはまだ言えません。
最初の判定は書き換えず保存します。誰が何を読んだかを明確にした後、共通の材料を渡します。あとから理由を合わせて元の不一致がなかったように記録しないことが大切です。
質問・保存回答・使用資料を固定し、各担当が見た版を記してください。
02 / AI活用
合格の意味が違うとき、何の軸へ分ける?
内容、根拠、表現、業務へ渡す条件を別々に採点します。

Q141は読みやすいかと、入荷の見込みに根拠があるかを別の軸にします。文章が短く丁寧でも、入荷を確定していないなら出荷予定の案内に必要な根拠が足りない場合があります。
評価責任者は、原資料との一致、未確認の表示、利用者が読む表現、業務へ渡す条件を基準へ記します。すべてを1つの正誤にまとめる前に、どの軸で一致していないかを見ます。
担当の役割が違うため確認できない項目は、無理に合格へ埋めず判定保留とします。必要な資料を持つ担当が確認した結果を添え、評価者の権限を広げることを採点の解決にしません。
合格の意味を軸ごとに定義し、確認できない軸は保留と記してください。
04 / AI活用
判定が割れたら平均点で決める?
不足条件を確認して基準を改訂し、元判定と再判定を分けます。

Q141で営業が合格、倉庫が不合格という数を平均しても、入荷未確認を表示すべきかは決まりません。評価責任者は基準の欠けた条件と判断先を確認します。
基準E01へ未確認表示の条件を追加するなら、理由、対象、改訂版E02を残します。元の合格・不合格はE01時点の記録として保存し、E02での判定を別欄へ記します。
基準を特定のQ141にだけ合わせないよう、入荷が確認済みの別例も用意します。未確認と確認済みを分ける条件が妥当かを各担当が確認します。
比較表は横に動かして全ての列を確認できます。
| 記録 | 営業 | 倉庫 |
|---|---|---|
| 元判定E01 | 合格:読みやすい | 不合格:入荷未確認 |
| 共通の軸 | 未確認表示の有無 | 同じI32へ照合 |
| 再判定E02 | 同じ条件で記入 | 同じ条件で記入 |
| 残る不一致 | 根拠と判断先を残す | 元の判定は保存 |
基準の改訂理由と版を保存し、平均点で閉じずに再判定してください。
05 / AI活用
基準がそろえばAIの誤りは解消した?
人の判定差と回答の不足を別々に記し、回答修正も確認します。

E02で両担当が未確認表示不足と一致したなら、人の基準はそろいました。しかしAIのQ141には不足が残っています。運用担当へ回答指示の修正を渡し、同じ資料で再確認します。
逆に両担当が合格としても、基準が原資料の条件を含んでいなければ十分とは言えません。責任者は基準の対象範囲と業務への適用を確認します。合意の数をAIの正答率へ読み替えません。
判断先が決まらない条件は保留し、対象の回答を確定した業務案内へ使わない方針を残します。基準の確認と回答修正の進捗を同じ記録に別状態で持ちます。
人の判定一致と回答修正を別の状態にし、採用範囲を責任者が確認してください。
仕事の流れから、顧客との接点まで。
一体で見直す、最初の一歩を。




