AI回答の評価基準の作り方｜質問・元資料・期待する答えをそろえる

01

まず、答えに必要な内容と、まだ言えないことを決める

期待する答えを用意する目的は、AIの答えが何を満たせばよいかを、元資料へ戻って確かめられるようにすることです。質問と期待する答えだけを並べるより、根拠の文章、どの時点の文書を使うか、答えてよいことと、まだ決められないことを結び付けます。

たとえば精算の問い合わせなら、利用区間と領収書の確認を答えに含めるのか、精算を承認したことまで答えてよいのかは別です。資料に確認手順があることを、実際の承認が済んだことへ広げません。文がもっともらしいだけでは、比較に使う答えとして確定できません。

先に、どの仕事のどこまでを試すかを決めます。この記事は、社内文書に書かれた確認や依頼の手順を案内できるか、試すための準備を扱います。精算の承認、会議室の確保、社内の決まりの変更をAIへ任せる説明ではありません。自社で対象の仕事がまだ決まっていない場合は、最初にAIを試す1業務の選び方と試し方で、AIへ渡すもの、作ってほしいもの、内容を確かめる人を先に整理できます。

期待する答えは、担当者が元資料の該当箇所を読み、問いに対して何を言えるかを確認して作ります。AIに案を作らせる場合も、二つのAIの答えが一致しただけで、正しいとは決めません。元の文章と、その決まりが自社に当てはまるかを確かめる人を決めます。この架空例の期待する答えの案も、実際の会社で使う前の確認と承認を代行しません。

02

質問と根拠の文書、期待する答えを一組にする

一つの質問に、使う元資料と根拠の文章、期待する答えの案を対応させます。質問はそのまま残し、文章を整えた場合には、実際にどちらの質問をAIへ渡したか分かるようにします。

公式資料で使われる「評価用データセット」は、質問や、比べるための答えをまとめた例の集まりです。この記事では、根拠にする社内文書と、何を確かめるかまで一緒に準備します。以下は記事独自の四つの架空例です。四例あれば十分、全業務を代表するという基準ではありません。

文書の「版」は、改訂番号や更新日など、どの時点の文章かを見分ける情報です。「適用日」は、その決まりを使い始める日を指します。確認した日とは分けます。元資料は、実際に読んだ文章と、版・適用日・対象の仕事を残します。同じURLでも文章が更新される場合があるため、リンクだけでは当時の比較条件を確定できません。利用の許可や保存方法は、自社の資料管理の決まりに合わせて確認します。公開されている情報でも、使い方の確認を省くことにはしません。

以下で使う原文は次の四件です。四件の文章は変更していません。実際の会社の版や適用日は与えられていないので、未確認です。確認作業の日付を、規程の適用日へ読み替えません。

担当者は、この原文と質問を並べ、期待する答えの案を作ります。資料の版を確認できない場合は、その不足を残し、現行規程の正解として扱う前に資料担当へ確認します。実際のAI回答はまだないため、期待する答えの案をその欄へ写して回答済みにしません。

03

精算・予約・変更案・締切の四例で比べ方を読む

通常の質問だけでなく、資料の状態や不足によって答えを保留する質問も用意します。答えを決められない質問も用意すると、文書にない情報を足してしまう答えを見つける準備ができます。自社では対象の仕事にある違いを調べ、この四種類だけで十分と決めません。

精算は、確認事項を答えても承認済みとしない

入力例は「出張の電車代を精算したい。何を確かめる？」です。元資料は交通費の精算手順で、原文は「交通費の精算には利用区間と領収書を確認する。」です。

期待する答えの案は「利用区間と領収書を確認する。精算完了や業務承認はまだ確かめていない。」です。問いに答える確認事項と、まだ言えない完了・承認を同じ案で区別しています。実際のAI回答が得られた段階では、表現の一致だけでなく、必要な項目と未確認の状態が保たれているかを読みます。

「精算は承認済みです」と付け足す答えは、この原文だけでは言えないため誤りです。必要な確認事項を答えることと、仕事を承認することを分けます。これは読み方を説明する例で、実際のAI出力ではありません。

図で示す答え方は、人が元資料から用意する、期待する答えの案です。これは人が作った比較案です。実際の利用区間や領収書がそろったこと、精算の承認、AIの回答との一致を記録したものではありません。

原寸画像を開く

図の内容を文字で読む

同じ例で対応させるもの	教材の内容
入力	出張の電車代を精算したい。何を確かめる？
元資料と原文	交通費の精算手順：交通費の精算には利用区間と領収書を確認する。
期待する答えの案	利用区間と領収書を確認する。精算完了や業務承認はまだ確かめていない。
実際のAI回答と実行条件	未実施・未記入。期待する答えの案を実答へ写さない。

架空の準備例。会社の期待する答えの案の承認、元資料の実際の版・適用日は未確認。AI実回答・得点・時間・費用・業務承認・精算完了は未実施。

予約は、担当者への依頼と部屋の確保を分ける

入力例は「会議に使う部屋を申し込みたい。」です。元資料は会議室の予約手順で、原文は「会議室の希望日時を確認して予約担当へ依頼する。」です。

期待する答えの案は「希望日時を確認し、予約担当へ依頼する。部屋を確保済みとはしない。」です。「会議に使う部屋」と「会議室」の言い方が違っていても、元資料の希望日時の確認と予約担当への依頼を読む準備にしています。空室や予約の完了を追加する案にはしません。「会議室を確保しました」と答える案は、担当者へ依頼する手順を予約完了へ変えてしまいます。まず希望日時を確かめ、担当者へ依頼する案にとどめます。

この入力例と精算の入力例は、元の資料検索の教材で人が期待する元資料を決めた質問です。ここでは、その元資料から答えの案と言えない範囲を作る準備へ進めています。検索方法の比較が必要なら、社内資料を探すAIの選び方と、質問・資料の比較条件を確認できます。この例の検索・AI回答・予約は未実施です。

変更案は、会社が採用したことにしない

入力例は「領収書の扱いは変更済みですか？」です。元資料は交通費ルールの変更案で、原文は「領収書の扱いを変える案。採用は未合意。」です。

期待する答えの案は「変更案はあるが採用は未合意。実際の適用条件と採用判断は担当へ確認する。」です。変更案があることと、会社が採用していることを分けます。資料名に変更と書いてあるだけで、会社が変更を決めたと扱いません。

この資料の記載から、実際の会社で変更が一切行われていないと断定することもできません。現行の合意状態と適用条件は未確認です。文書を管理する担当者に、どの時点の文章を使うか確かめます。その決まりを使ってよいか決める責任者へ、確認が必要なことを残します。

締切日は、文書にない日付を作らない

入力例は「出張申請の締切は何月何日ですか？」です。元資料は出張の申請手順で、原文は「出張前に申請を提出する。交通費の精算手順は別資料を確認する。」です。

期待する答えの案は「資料には出張前とあるが具体日付は記載されていない。この資料束の範囲で日付を作らず、担当へ確認する。」です。ここでいう「資料束」は、この記事で使う四つの文書です。「出張前」は申請の前後関係であり、具体的な月日そのものではありません。出張日や別の締切規程も提供されていないため、日付を補わず、必要な元資料を確認する案にします。

ここで取り上げる四つの文書には、具体的な締切日は書かれていません。実際の会社に締切がないという結論ではありません。期待する答えの案で何を保留するかを先に決めることで、将来の実際のAI回答へ根拠のない日付が入っていないかを確かめられます。この答えの案について、実際の会社の承認は未確認です。AIはまだ実行しておらず、実際のAI回答もありません。

04

文書が変わったら、期待する答えを先に見直す

資料が変わった場合は、回答を比べる前に、期待する答えと答えを決めずに確認することが今もその資料に合うかを確かめます。以前の期待する答えの案と違う答えが出たことだけを、AIの性能が落ちたことと判断しません。

Googleが運営する技術の相談掲示板には、2026年10月に、元のウェブページが更新され、手書きの期待する答えの案で回答を比べる方法に困るという利用者の質問があります。元の文書が変わると、比べる答えも見直す必要がある場面の一例です。投稿者の評価結果や原因を本記事で再現・実証したわけではありません。元資料の更新と期待する答えの案についての利用者の質問

準備では、次の順に確認します。これは作業の設計で、この記事の四資料を更新した記録ではありません。新しく改訂した文書や、変更後の答えを架空に追加していません。

変更がないことを確認できた場合は、その元資料と期待する答えの案を同じ組で使います。変更がある場合は、影響する期待する答えの案や答えを決めずに確認することを資料担当と確かめ直します。変更の有無自体が分からない場合は、古い期待する答えの案の適用を確定せず、確認待ちにします。

古い記録を消して新しい案だけにすると、前回に何を比較したかが分からなくなります。前回使った組を残し、確認できた変更と、新しく使う組を別に結び付けます。元ページを取得した日時だけで、会社の規程の適用日まで確定させないことも必要です。

この例の四つの原文は変更していません。この記事の準備では、資料を更新したり、期待する答えの案を承認し直したりしていません。文書を変更した後にAIを動かして回答を比べた記録はなく、得点も測っていません。実際に比べるときは、資料条件が変わった比較と、同じ資料条件でAIの種類などを変えた比較を分けて記録します。それぞれにどの変更があったかを確かめてから評価の意味を読みます。

原寸画像を開く

図の内容を文字で読む

入力と元資料	原文全文	期待する答えの案
領収書の扱いは変更済みですか？／交通費ルールの変更案	領収書の扱いを変える案。採用は未合意。	変更案はあるが採用は未合意。実際の適用条件と採用判断は担当へ確認する。
出張申請の締切は何月何日ですか？／出張の申請手順	出張前に申請を提出する。交通費の精算手順は別資料を確認する。	資料には出張前とあるが具体日付は記載されていない。この資料束の範囲で日付を作らず、担当へ確認する。

資料が変わった場合に、原文・版、期待する答えの案・保留条件、比較する組を確かめる作業の設計。今回の四原文は不変。新しい版・実AI回答・期待する答えの案の再承認・採点は未実施。実会社の締切や変更の採用を確定しない。

05

実際のAI回答は、準備した答えと分けて確かめる

人が期待する答えと実際のAI回答を別欄に残すと、案を作ったことと試す作業を実施したことを区別できます。実行するAI、使った指示文や文書、AIを動かした日時も、その一件に対応させます。会話の前のやり取りを入力に含めた場合は、それも比較条件へ残します。

Google Cloudの公式説明でも、入力した質問、AIが実際に出した答え、比べるために用意した答えは別に扱っています。使う比較方法によって必要なものは異なり、用意した答えとの比較が必須とは限りません。この記事は社内文書から答えの案を準備する方法を説明したもので、そのサービスを動かすための設定やプログラムの手順ではありません。Google Cloudの、質問・実際の回答・比べる答えの説明

この架空例の準備状況を、仕事へ置き換える際の見本として示します。欄数は一律の条件ではありません。使う文書や入力が違えば、必要な条件も自社の仕事へ合わせます。実顧客情報や機密をこの架空例へ取り込まず、入力情報の利用許可と確認する責任者を別に決めます。

実際の回答が得られたら、言い回しだけでなく、必要な項目と保留すべき状態が守られているかを確かめます。得点を使う場合も、何を基準に、どの条件の回答を評価したかを残します。この四案の得点や誤り率を、実行していないまま作りません。

回答に引用が付いた段階で、引用番号と原文が一文を支えるかを詳しく確認する場合は、AIの引用元と、答えの支持範囲を確かめる方法を確認できます。期待する答えの案の準備と、返された引用の照合は別の確認です。どちらも、会社の規程の適用や業務承認を自動で保証しません。

まず一つの仕事について、何を答えに含め、何をまだ答えてはいけないかを、元の文書で確かめます。そのうえで、質問・使う文章・期待する答えの案・担当者へ確認することを対応させます。資料担当とその案を確かめ、実施前の欄は未実施のまま残してください。資料が変わったときには、期待する答えの案の見直しを先に行い、同じ比較条件かを明らかにしてから実際のAI回答を比べます。