AIのPoCは何を評価する?本番へ進む条件と見送り条件の決め方

AI活用 · 実務ガイド
AIのPoCは何を評価する?本番へ進む条件と見送り条件の決め方
AIの試験が「便利そう」という感想で止まる中小企業の経営者へ。PoCは本格導入前の小さな実証です。確認と修正を含めて仕事が終わるかを比べます。
見積依頼メールを社内一覧へ整理する架空例で、試験材料、重要な誤り、総時間を確認します。本番へ進む・再試験する・見送る条件を1枚の評価計画にまとめます。業務選びを終えた後の試験に絞り、対象外や未確認の依頼も判断材料に残します。

この記事でできるようになること
- 対象業務と合格条件の評価計画
- 例外を含むテスト資料の一覧
- 継続・再試験・見送りの判断記録
01 / AI活用
PoCで確かめる仕事の終点はどこ?
AIの回答ではなく、人が確認して使える状態を終点にします。

営業が届いた見積依頼から品名・数量・希望日を抜き出すなら、終点は一覧の下書きができた時点ではありません。担当者が原文と照合し、未記載の希望日を「未確認」として引き継げた時点です。ここをそろえないと、AI側だけ途中までの時間を計ることになります。
メールへの返答や見積価格の確定は今回の試験から外します。読み取りと一覧化に絞れば、誤りを発見した箇所と直し方を追えます。対象外の仕事を同時に追加すると、失敗の原因が抽出、価格判断、送信のどこにあるか分かりにくくなります。
経営者は営業担当者と、完成した一覧の利用者を確認します。倉庫へ渡す数量が重要なら、数量の取り違えを単なる表記ゆれと同じ扱いにしません。誰が次の判断に使うかまで書くことで、測るべき品質が具体的になります。
営業担当者と、時間を止める終点を評価計画の「対象業務」欄へ記入してください。
この章の根拠:出典1
02 / AI活用
試験用のメールはどう選ぶ?
普段の依頼、読みにくい依頼、判断できない依頼を分けて用意します。

一番整ったメールだけを試しても、短い追記や古い注文の引用を含むメールへの対応は分かりません。直近の業務の形式を担当者に聞き、会社が利用を認めた資料か、形式を保った架空資料を用意します。顧客情報の利用可否は試験前に確認します。
例えば通常の依頼、数量を後から変更した依頼、品名が略称の依頼、希望日がない依頼を別の組にします。各資料には人が確認した期待結果を付けます。正解を作れない資料は、AIに推測させず「担当者へ確認する」が期待結果になる場合があります。
調整に使う資料と、最後の比較に使う資料は分けておきます。試験の失敗を見るたびに指示を直し、同じメールだけが通る状態になっても、初めて見る依頼への強さは確かめられていません。最後の材料は条件を固定してから使います。
| 架空の依頼 | 期待する一覧 | 失敗の扱い |
|---|---|---|
| 品Aを10個、15日希望 | 品A/10個/15日 | 品名・数量を照合 |
| 先ほどの10個を12個へ変更 | 12個、変更の記録 | 10個のままなら重要な誤り |
| できるだけ早くお願いします | 希望日未確認 | 日付の推測は不合格 |
通常・変更・曖昧・欠落の資料を用意し、各資料の期待結果を担当者へ確認してください。
この章の根拠:出典1
03 / AI活用
速さと品質はどの数字で比べる?
総時間、重要項目の誤り、確認の負担を別々に記録します。

時計は、依頼を開いた時から確認済みの一覧ができるまで動かします。AIの処理待ち、原文の見直し、修正、やり直しを含めます。AIが文章を返すまでの時間だけを使うと、担当者が後で負担した確認が評価から消えてしまいます。
品質は「一覧として使えるか」と「重要項目を間違えたか」を分けます。句読点の修正と数量の誤読は影響が違います。重要項目の誤りが見つかったら、誤りの件数に加え、倉庫へ渡す前に発見できたかを記録します。合計点だけでは危険な誤りが隠れます。
担当者の習熟や依頼の難しさも書き添えます。従来手順をベテランが行い、AI手順を初めて触る人が行えば、方式の違いと人の違いが混ざります。担当者と資料条件を近づけ、残る違いを記録して、比較が何を示すかを限定します。
同じ資料の作成・照合・修正時間を、従来手順とAI手順の欄へ記入してください。
04 / AI活用
本番へ進む条件をいつ決める?
結果を見る前に、継続・再試験・見送りを分ける条件を記入します。

「思ったより便利だったから進める」では、結果に合わせて合格条件が動きます。試験前に、数量の推測をしないこと、確認済みまでの時間が現場の負担に収まること、未確認の依頼を人へ戻せることなど、自社が必要とする条件を書きます。
数字のしきい値は会社の業務量と誤りの影響から決めます。本稿の試験件数や時間は架空例で、公的な合格基準ではありません。結果が少数の通常メールだけで良かった場合は、全面導入ではなく、対象形式を限定した追加試験という選択もあります。
条件を満たさなかった理由も分けます。資料の品質が原因なら資料を直して再試験できます。一方、人が誤りを見つけにくく次工程へ伝わるなら、便利さだけを理由に広げません。見送りは失敗を隠すことではなく、どこまで確かめたかを残す判断です。
結果を見る前に、継続・再試験・見送りの条件を責任者と記入してください。
この章の根拠:出典2
05 / AI活用
指示やモデルを変えたら評価は引き継げる?
変更した部分に関係する材料と、以前通った材料を再確認します。

試験後に抽出の指示を直すと、数量の訂正には強くなっても、希望日がない依頼で日付を補うようになることがあります。改善した1例だけで評価を終えず、以前通った例も確認します。変更前の指示、使用した設定、材料、結果を組にして残します。
外注先が調整する場合も、経営者は比較表の受領を条件にします。「最新版にした」という説明だけでは、どの条件が変わったかが分かりません。営業担当者が使う範囲、未確認の表示、人へ戻す条件が同じかを評価記録で確かめます。
本番に近い試験へ進む時は、担当者が不在の時の代替手順も試します。AIが止まった日にも注文を受けられるか、一覧を誰が作るかを確認します。導入前の試験は、本番で起きないことを約束する場ではなく、運用を支える条件を見つける場です。
指示を変更した日と内容を残し、以前通った資料も再試験してください。
06 / AI活用
まとめ:最初の評価計画に何を書けばよい?
業務、材料、評価、判断を1枚にそろえ、担当者と確認します。

最初から大量の試験を設計する必要はありません。今回任せる仕事の終点を1つ決め、重要項目と例外を挙げます。そのうえで、AIなしで終える場合と、AIの下書きを確認して終える場合の記録欄を同じ形にします。
計画には、材料を誰が用意し、期待結果を誰が確認し、導入判断を誰が行うかを書きます。作った人だけが良し悪しを決めると、調整の意図が評価に入りやすくなります。現場の利用者にも、間違いを発見できる画面かを見てもらいます。
試験を終えたら、時間が縮んだ例だけでなく、使わなかった例と残った疑問を判断記録に入れます。次の投資はその記録から対象を決めます。これにより、便利さの感想を、会社が任せられる仕事の範囲へ変えられます。
評価計画の材料、期待結果、判断担当に空欄がないか現場の利用者と確認してください。
仕事の流れから、顧客との接点まで。
一体で見直す、最初の一歩を。


