AIの同じ間違いが続くときは?誤りの種類から直す場所を選ぶ

AI活用 · 実務ガイド
AIの同じ間違いが続くときは?誤りの種類から直す場所を選ぶ
AIが何度も間違えるたびに指示を長くしても、直す場所が違えば問題は残ります。運用担当と業務責任者は、元資料と誤った回答を並べ、入力・指示・参照資料・人の判定のどこを確認するかを分けます。
架空の部品会社で、品番違い、数量の抜け、書かれていない納期の推測が続く例です。間違いの種類と直す対象を対応台帳へ記録します。日々の件数監視ではなく、繰り返す誤りの原因候補を確かめるための資料です。

この記事でできるようになること
- 元資料と誤出力を対応させた誤り台帳
- 誤りの種類ごとに確かめる修正対象
- 1箇所の修正と再確認結果を残す記録
01 / AI活用
間違いを報告するとき、何を1組にする?
元資料、実際の回答、期待する欄、使用条件を資料IDで結び付けます。

架空の部品会社では、注文メールを受付表の下書きへ整理しています。運用担当はE21の「品番CD-8を6個」という原文と、AIの「CD-6を6個」という回答を同じ資料IDへ保存します。「AIが品番を間違えた」だけの報告にはしません。
営業担当が品番CD-8を正しい期待欄として確認し、モデルM02、指示文P04、参照する商品一覧L08を添えます。資料IDを付けず別のメールの回答と並べると、同じ誤りが再現したのか分かりません。秘密や個人情報を含む資料の共有範囲も会社の規程で確認します。
記録が足りなければ原因は未確認とします。別の社員が記憶した文章で再現しても、元の誤りと同条件とは言えません。まず足りない原文や使用条件を回収できるか確認し、回収できないものは調査の限界を残します。
1件の誤りについて、元資料・実回答・期待欄・使用版を台帳へそろえてください。
02 / AI活用
品番違い、数量抜け、納期推測を同じ種類にする?
欄の取り違え、欠落、原文にない追加を分け、影響と確認先を記します。

E21の品番違い、E22の数量欄の抜け、E23の納期推測は違う種類です。E22には「EF-3を12個」とあるのに数量が空欄、E23には納期の記載がないのに翌日と書かれた設定にします。すべてを「精度が低い」と記すと、どこを直すか選べません。
営業責任者は、取り違えは商品の特定、欠落は受付欄の不足、原文にない追加は約束内容の創作として影響を記します。同じ件数でも、納期推測を顧客へ伝えた場合と社内下書きで止めた場合は影響が違います。
W3Cの品質語彙は、測定対象と品質の指標を結び付ける考え方を示します。この3分類は会社向けの編集例で、公式の完全な品質分類ではありません。自社で困っている欄と業務の影響へ置き換えて使います。
台帳の誤り分類に、実際に欠けた欄と社外へ伝えた有無を添えてください。
03 / AI活用
同じ誤りでも、原因候補をどう確かめる?
運用担当はAIへ渡った入力、指示、参照資料、人の期待欄を順に調べます。

品番が違って見える場合は、最初にAIへ渡った入力を見ます。メール原文にはCD-8とあるのに、取り込み時にCD-6へ変わっていたなら、AIへの指示を直す前に入力処理を確認します。原文と実際の入力を同じものとして扱わないことが要点です。
入力が正しく渡っているなら、指示が品番を商品名へ置き換えるよう求めていないか、商品一覧に古い対応がないかを確かめます。数量抜けは欄の指定や原文の読み取り、納期推測は未記載時の扱いを原因候補にします。分類名から原因を断定せず、資料で確認します。
営業担当同士でCD-8の扱いが割れるなら、人の期待欄がまだ確定していません。責任者が正しい対応を決めるまでは、モデル変更で解決する問題と決め付けません。複数の原因候補があるときは、確認済みと未確認を台帳で分けます。
原文とAIへの実入力を並べ、一致するかを確認してから設定の修正へ進んでください。
04 / AI活用
何箇所も同時に直してよい?
原因候補に対応する1箇所を変更し、変更前後を同じ資料で比べます。

E23の推測納期に対して、運用担当は未記載時の表示だけを指示文P05へ追加する案を作ります。同時にモデルと商品一覧を替えないことで、何が回答を変えたかを追えます。変更理由と影響する欄を台帳へ記します。
P05でE23の納期が未記載になったら、その結果を保存します。E21の品番違いまで直ったとまとめず、E21とE22も確認し、別の誤りの状態を記録します。直った例と未解決の例を分けて残すと、次の修正対象を選べます。
同じ条件でも推測納期が再発する場合は、人の確認を残したまま業務範囲を保留します。試しに変更した設定を正式版へ広げる前に、責任者が残る影響を判断します。新しい設定への切替と、既に作った下書きの修正も別の仕事です。
比較表は横に動かして全ての列を確認できます。
| 対象 | 根拠で分かったこと | 次に確かめる担当 |
|---|---|---|
| E21品番違い | 実入力の品番は正しい | 運用担当がL08の対応を確認 |
| E22数量抜け | 原文と実入力に12個がある | 運用担当が数量欄の指示を確認 |
| E23納期推測 | 原文には納期がない | 業務責任者が未記載の表記を決定 |
1箇所の修正理由と、直った例・未解決例を同じ台帳へ残してください。
05 / AI活用
直した結果を誰が業務へ戻す?
業務責任者が再確認の根拠と残る影響を見て、使う範囲を決めます。

運用担当の「直りました」という報告には、P05、比較資料ID、回答、確認者を添えます。営業責任者は、品番・数量・未記載表示が受付に使えるかを確認し、対象となるメールの種類を決めます。
過去にE23の推測納期が顧客への返答に使われた可能性があるなら、その記録を営業担当へ渡して調べます。設定の修正が済んでも、既存の返答への影響が残る場合は台帳の対応欄を閉じません。
原因候補が未確定のまま再開する場合は、その範囲と人が照合する欄を明記します。原因不明を原因なしへ置き換えません。NISTの運用後の改善や利用者の報告という考え方を、自社の具体的な対応台帳へ応用しています。
業務責任者が、再開範囲と既存記録の残作業を別欄へ記してください。
この章の根拠:出典2
06 / AI活用
まとめ:同じ間違いを資料と修正対象へ結び付ける
原文、実入力、誤出力、期待欄をそろえ、1箇所の修正と残る影響を台帳へ残します。

AIの同じ間違いが続いたら、運用担当は誤りを単なる件数にせず、E21からE23の原文と回答へ結び付けます。営業責任者は品番の取り違え、数量の欠落、納期の追加を分けて業務への影響を示します。
原因候補は実入力、指示、参照一覧、人の期待欄で確かめます。1箇所ずつ変更し、問題例と他の欄を再確認します。直ったように見える1回の回答だけで、すべての誤りが解消したと記しません。
対応台帳の記入メモへ、未確定の原因、業務を保留する範囲、既存の返答への確認も残してください。担当者が次に確かめる場所を選べることが、この記録の持ち帰る成果です。
反復する誤りを1件から台帳へ記し、原因候補と担当の次の確認を決めてください。
仕事の流れから、顧客との接点まで。
一体で見直す、最初の一歩を。


