AIのメール分類を採点する前に、人が付けた「正解」を確かめる

採点に使う「正解」も、元のメールと照合する

AIの分類を試すときは、メールごとに「営業へ渡す」「対象外」などの正解を人が用意し、AIの出力と比べる方法があります。この正解側の判定を、ここでは「正解ラベル」と呼びます。

人が付けたラベルにも間違いがあれば、AIの判定が仕事の決まりに合っていても、採点では間違いと数えてしまうかもしれません。人が入力したことだけを理由に、確認済みの正解として扱わないようにします。

以下は、説明のために作った6通の架空メールと、分類の決まりの案です。実際のメール、AIの出力、人による実際の見直し結果ではありません。見直した後の判定も記事内の提案で、会社が承認した正解ではありません。

この例の分類の決まり

設備点検の見積依頼を、営業担当が確認する対象にします。売り込み案内と採用の質問は対象外です。既存の見積書を変更する依頼を対象にするかは、まだ決まっていません。 元のやり取りがなく用途が分からない文面は、保留して確認します。

「対象外」は、この営業への振り分けでは扱わないという意味です。会社として返信や対応が不要だと決めるものではありません。この決まり自体も架空の案であり、実際の業務で採用済みではありません。

表紙の原寸画像

表紙の内容を文章で読む

元のメール「展示会で新製品を紹介します。出展しませんか。」には「営業へ渡す」と記入されています。設備点検の見積依頼を対象にする架空の規則案に照らすと、出展の勧誘は対象外へ直す候補です。実際のAI出力・会社承認はありません。

付け間違い・決まりの未確定・元の文章不足を分ける

見直した判定だけでなく、なぜそう考えたかも残します。次の三つは、確認する内容も相手も違います。

図の三つのメールを、付け間違いの候補、決まりの未確定、元の文章不足で読み分けてください。後の二つは保留し、確認する内容と相手を分けます。

PCの原寸画像スマートフォンの原寸画像

付け間違いを直す候補と、決められないため保留するものを一緒にしないことが大切です。未確定の3通を「対象外」へ埋めれば、見かけ上は全件に答えが付きますが、元の仕事の判断が済んだことにはなりません。

6通のメールを、元の判定から見直す

どの例も「元の文章→元の判定→見直し案→理由」の順で読めます。「維持」は、この架空の決まりと本文が合っているという説明上の分類です。実際の担当者による承認や確認の完了を示してはいません。

まず、一通の「出展しませんか」という勧誘を見てください。点検見積を営業へ渡すという決まりに合うでしょうか。図の元文と、元の判定・見直し案を比べます。

PC用の画像を原寸で開くスマートフォン用の画像を原寸で開く

出展の勧誘は「営業へ渡す」から「対象外」への変更案です。一方、既存見積の変更・前回の依頼・急ぎの見積は、この資料だけでは決められないため保留しています。会社の承認は未確認です。

同じ6通を、二つの問いで分けて数えます。

見直し案の行き先

まず、見直し案で各メールをどこへ分けたかを見ます。

PC用の画像を原寸で開くスマートフォン用の画像を原寸で開く

元の判定から変えるか

次に、元の人の判定を見直し案でどう扱うかを見ます。

PC用の画像を原寸で開くスマートフォン用の画像を原寸で開く

6通目の「ポンプが止まっています。見積もりを急ぎたいです。」も、保留にします。ポンプの停止と見積依頼は読めますが、点検の見積か修理の見積かは本文だけでは分かりません。受付担当へ用途を確認し、分類の決まりに合うかを確かめてから正解を決めます。「故障」だけで対象外にせず、「見積もり」という語だけで営業へ渡すとも決めつけません。

この教材の見直し案は、営業へ渡す1通、対象外2通、保留3通です。元の判定から変更する候補は1通、維持する例は2通、まだ決められない例は3通あります。どちらの数え方も同じ6通を別の観点で整理したもので、AIの正解率や、人による点検の実績ではありません。

決められないものは、理由と確認先を残す

三つの保留は、誰へ何を聞けば判断できるのでしょうか。図では「決まりが足りない」のか「そのメールの情報が足りない」のかと、確認先を対応させてください。矢印は照会先を示し、回答や承認が得られたことは示しません。

PC用の画像を原寸で開くスマートフォン用の画像を原寸で開く

「先月の見積書の台数を2台から3台に変更してください。」は、依頼の内容自体は読めます。ただし、この営業振り分けに既存見積の変更を含めるかは未決です。営業責任者へ、対象に含めるかと、含めない場合の担当を確認します。

一方、「前回と同じ内容でお願いします。」は、過去のやり取りがないため、何を頼んでいるのか分かりません。受付担当へ元の会話を確認します。会社の決まりを追加するだけで、このメールの不足した情報が埋まるわけではありません。

確認のために残すメモは、長い報告書でなくても構いません。たとえば、既存見積の変更なら、次のように未確定のまま示せます。

AIに聞き直した答えや、複数のAIの一致だけを、そのまま会社の正解にしないようにします。複数の人が同じ判定を付けても、元の文章と決まりに根拠があるかは別に確認します。迷う例の扱いは、業務責任者が決めた基準と、その根拠へ戻して確かめます。

元の判定を残し、採点に使う版を分ける

元の判定を上書きして消すと、なぜ採点結果が変わったのか追えなくなります。元のメールと元の判定を残し、見直し案・理由・確認した人・採用した決まりと判定の版を、後から対応づけられるようにします。確認や承認が済んでいない欄は、完了したことにせず未確認と記録します。

同じ出展勧誘メールについて、元の判定、見直し案、採点に使う版を、どう結び分けるでしょうか。図では同じメールへの対応と、まだ未確定の採点用の版を見てください。AI出力は別の記録であり、この教材では未実行です。

PC用の画像を原寸で開くスマートフォン用の画像を原寸で開く

AIの出力を変えず、正解側のラベルだけを見直しても、採点の結果が変わる場合があります。それを「AIの性能が改善した」とは言えません。正解ラベルの版とAI出力の版を別々に残し、どちらを変えた比較なのかを区別します。この記事ではAIを実行しておらず、性能の改善や費用・時間の削減は測っていません。

採点を進める前に、担当者と次を確認します。

• 元のメール全文、元の判定、当時の分類の決まりを、同じ対象に対応づけて読めるか。
• 付け間違いの候補に、本文と決まりから説明できる理由があるか。
• 条件未決と元の文章不足を分け、保留理由と確認先を残したか。
• 誰がどの判定を採用したか、未承認のものはどれかを確認できるか。
• 採点に使う確定版と、保留して採点に入れないものを区別し、対象と件数を記録したか。
• 比較するAI出力と正解ラベルの版、使ったメールの範囲をそろえたか。

保留したものを黙って除き、以前と同じ条件の正解率として並べることも避けます。6通は見直し方を説明する教材で、実運用に十分な検査件数や、合格率を決めるための数字ではありません。実際に何をどこまで点検するかは、業務の影響とデータの作り方を踏まえて担当者間で決めます。

参考資料

産総研の『機械学習品質マネジメントガイドライン 第4版』の7.6.2では、ラベルを付ける基準をそろえて記録することや、要件が変わったときに既存データとの整合を見直すことを扱っています。この指針を参考に、本記事ではメールの具体例へ置き換えて説明しています。任意に採用する指針であり、すべての会社への法律上の義務を示すものではありません。

正解ラベルが確かめられた後、見逃しや人が確認する件数をどう比べるかは、AIのメール振り分けを選ぶには？見逃しと確認件数で比べるで説明しています。そちらの20通は別の教材で、本記事の6通と混ぜて採点しません。