見積もり相談メールをAIで振り分けるには？見逃しと確認件数で比較

営業に回したいのは、見積もり相談のメール

表紙の原寸画像

会社に届いた問い合わせ20通の中に、見積もり相談が4通あるとします。営業担当には、この4通を確認してもらいたい、という仕事です。

たとえば「部品10個の見積もりをお願いできますか。」は営業へ回す対象です。「営業時間を教えてください。」は、この見積もり相談の振り分けでは対象外です。

対象外のメールも、会社として対応が不要になるわけではありません。配信停止や返品などは、別の担当へ回す必要があるかもしれません。ここでは、営業が見積もり相談を確認する仕事に範囲を絞って比べます。

正解率が同じでも、見逃しと確認件数は違う

PCの原寸画像スマートフォンの原寸画像

同じ20通を、二つの例で振り分けてみます。図の「絞る例」は3通を営業へ回す例、「広い例」は7通を回す例です。どちらも説明のために作った架空例で、実際のAIの出力や、設定を変えた前後の結果ではありません。

3通を確認する例では、見積もり相談4通のうち2通を営業へ回せず、見逃しています。7通を確認する例では4通すべてを回しますが、営業時間・配信停止・採用応募の3通も混ざります。

7通を確認する例で増えた4通の内訳は、見逃さずに済んだ見積もり相談2通と、対象外のメール2通です。増えた確認をすべて無駄とは言えません。一方、見逃し0通だけを見て、その例を採用するとも決められません。担当者が確認できる件数や、見逃した場合の影響も調べる必要があります。

なぜ、どちらも正解率85%なのか

正解率は、営業へ回す・回さないを正しく判断できたメールの割合です。3通を確認する例は、見積もり相談を正しく回せた2通と、対象外を正しく回さなかった15通で、合計17通が正解です。7通を確認する例は4通と13通で、やはり17通が正解です。

どちらも17÷20＝85%。一つの点数にまとめると、見積もり相談を見逃した間違いと、対象外を営業へ回した間違いの違いが見えなくなります。

「適合率」と「再現率」を、メールの件数で読む

この二つの指標は、どのメールの集まりを見るかが違います。まず件数を確かめ、その後で率にすると読みやすくなります。

適合率：営業へ回した中に、見積もり相談は何通あるか

3通を確認する例では、回した3通のうち見積もり相談は2通なので、2÷3≒66.7%。7通を確認する例では、7通のうち4通なので、4÷7≒57.1%です。

適合率は、人が確認するメールに、対象の相談がどれだけ含まれるかを見る数字です。この例では、3通を確認する方が対象外の混入割合は小さくなります。

再現率：見積もり相談4通のうち、何通を営業へ回せたか

3通を確認する例では、相談4通のうち2通を回せたので、2÷4＝50%。7通を確認する例では4通すべてなので、4÷4＝100%です。

再現率は、本来回したい相談を、どれだけ見逃さずに回せたかを見る数字です。分母は回した件数ではなく、もともとあった見積もり相談4通です。

適合率が高い方と、再現率が高い方は、この例では一致しません。また、この20通で見逃し0通だったことは、今後も必ず見逃さない証明にはなりません。

自社で選ぶ前に、確認する三つのこと

1. 何を営業へ回すかを、業務責任者と決める

同じメールを人が読み、見積もり相談かどうかを判定して、AIを比べる基準にします。この人の判定を「参照判定」と呼びます。対象外を誰が扱うかも決めます。

「前と同じ条件でお願いできますか。」のように、本文だけでは判断できないメールは、過去のやり取りを知る担当へ確認します。このメールは今回の20通には含めていません。未判定のまま別枠に残し、対象外の16通へ足しません。

2. 見逃した場合の影響と、確認できる体制を確かめる

業務責任者と、見積もり相談を見逃すと何が起こるか、別の方法で気づけるかを確かめます。確認する担当者には、対応できる件数・頻度・引き継ぎ先を確認します。

今回の比較では、確認時間・費用・売上への影響を測っていません。「4通多いから何分損をする」「見逃しが減れば売上が増える」といった効果は、件数だけでは分かりません。

3. 同じ条件で実際の出力を比べる

評価担当者は、同じ期間・同じ対象のメールと、人の判定をそろえます。開発・導入担当者には、使った資料や設定と、実際の出力を保存して比べられるかを確認します。設定を変えた後も、条件をそろえて確かめ直します。

この20通は数え方を説明する少数の架空教材です。実運用に十分な件数や、合格にすべき正解率を示すものではありません。見逃した相談の中身と、確認にかかった時間も調べてから、業務責任者が採否を決めます。

計算と20通の内訳を確かめる

指標の定義は、Googleの機械学習教材を参照しています。メール20通と二つの振り分けは、本記事で作成した架空の説明例です。