一度うまくいった出力だけでは、仕事へ組み込めるか判断できません。通常の入力、情報不足の入力、例外を含む入力で、同じ終了条件まで処理して比べます。

ここでいう7日間は、短く区切るための提案です。精度を統計的に保証する試験期間ではありません。週に一度しかない作業なら、架空のテスト資料を用意するか、必要な例が集まるまで期間を延ばします。

この記事の完成物は、採用しなかった例も含む時間の記録と、次に続ける範囲を決めた一枚のメモです。数値を持っている方は失敗・やり直し込みの集計ツールへ進めます。以下の5件は同じツールの「架空例」で検算できます。

1日目:完成状態と停止条件を決める

例えば返信案なら「FAQと一致し、宛先を確認すれば送信できる状態」を完成とします。AI側だけ未確認の下書きを完成扱いにしないようにします。

停止条件は試す前に決めます。架空の例では、「元にない返金や期日を約束したら、その用途への自動採用を止める」「確認と修正が手作業以上なら対象を縮める」といった条件を使えます。厳しさは仕事への影響に合わせてください。

2〜3日目:代表例と例外を試す

同じ内容を手作業とAIで続けて処理すると、二回目は内容を覚えていて速くなる場合があります。厳密な比較が難しい時は、その条件を記録し、数字を確定的な改善率として扱わないようにします。

最初の小さな試行では、例えば次の三種類を含めます。

入力の種類見たいこと例
通常定型処理が成立するかFAQに答えがある問い合わせ
情報不足推測せず止まれるか注文状況が未確認
例外範囲外の判断をしないか特別な返金要求

「簡単な例だけが成功した」状態を、全件に適用できる結果と混同しないことが目的です。

通常・情報不足・例外を意図的に同数集めた試験と、普段の問い合わせを順番に記録した試験は分けて残します。前者は失敗の発見には使えても、その平均を月の全件へ掛け算する根拠にはなりません。比較する仕事の難しさ、文字量、担当者、完成条件もメモしてください。

4〜5日目:修正と失敗を分類する

誤字を一つ直した出力と、存在しない条件を追加した出力は別扱いにします。「手直しあり」の一欄にまとめると、何を改善するか分からなくなります。

記録日/例のID:
入力区分:通常/情報不足/例外
実測/架空教材の区分:
作業・完成条件・比較条件(文字量、難しさ、担当など):
手作業の分数:
AI利用時の準備の分数:
確認の分数:
修正の分数:
不採用後に手作業で完成させた分数:
完了/未完了:
待ち時間(別記):
初回だけの設定時間(別記):
結果:採用/修正して採用/不採用
誤りの種類:表現/事実/抜け/根拠なしの追加
停止条件に該当したか:

AIへ入力した機密データを検証シートへ複製する必要はありません。資料の識別子と失敗の種類だけでも、後からたどれます。

時間は重複しない区間で測ります。修正途中でAI案を捨てた場合も、そこまでの準備・確認・修正を消さず、その後の手作業を加えます。まだ終わっていないものは「未完了」。失敗を削除して平均を出したり、未計測を0分で埋めたりしないでください。

6日目:合計で確認する

架空の5件を例にします。各件の従来の手作業は20分、AI利用後は準備+確認+修正+不採用後の手作業です。全件を同じ完成状態まで処理したと仮定します。表の単位はすべて分です。

例準備確認修正手作業へ戻す利用後計削減結果
A37001010採用
B3540128修正して採用
C3870182修正して採用
D510102045−25不採用・手作業へ
E37001010採用
合計17372120955不採用1件

手作業100分に対してAI利用後95分。差は5分、1件平均1分、総時間に対する削減率は5÷100=5%です。Dのやり直し20分を除くと75分になり、25%減ったように見えますが、それは仕事を完成させるまでの比較ではありません。

例えばDが「根拠のない返金を約束しそうになった」例なら、時間が減ったことと、運用してよいことは別です。不採用1件、時間増1件、重大な問題1件を時間と並べて記録します。通常の返信案には可能性があっても、返金判断まで任せる根拠にはなりません。

この表は当サイトが作った計算用の教材です。実務での削減率やAI製品の精度を測った実績ではありません。生成待ちは含めていないので、待っている間ほかの作業ができない仕事は経過時間も比較します。

数値を自分の記録に置き換える

  1. 集計ツールで「5件の架空例」を入れ、合計95分になることを確認します。
  2. 「全入力をクリア」して自分の完了済み記録を入力します。1件から使えますが、件数が少ないほど適用範囲を限定します。
  3. 不採用なのにやり直し0分なら、同じ完成状態かを見直します。未完了のままなら集計を保留します。
  4. 集計記録をコピーし、比較条件と次の判断を追記します。機密情報を入力する必要はありません。

初期設定や費用も含める場合は月の負担の計算へ進みます。この教材を転記するなら従来100÷5=20分、利用後95÷5=19分です。ただし重大な問題があり、例外の比率も架空なので、月間効果の実績にはしません。

自分の記録も「通常例と例外を同数集めた試験」か「実際に発生した順の記録」かを区別し、未計測の保守・初期設定を0として埋めないでください。計算例と二重計上の練習は費用対効果のガイドにあります。

7日目:継続・縮小・停止を決める

継続は、対象範囲で品質と時間の条件を満たした時です。その範囲と確認方法を手順書へ残します。縮小は、通常例だけなら役立つ時です。例外を人へ戻す条件を明記します。停止は、重大な誤りを止められない時や、修正の負担が効果を上回る時です。

同じ失敗を繰り返すなら、モデルを次々変更するより、入力や完成条件に曖昧さがないか見直します。変更は一つに絞り、同じ例で差を確認すると、何が効いたか分かります。

次の判断:継続/対象を限定して再試行/停止
対象にする作業:
対象から外す入力と、人へ戻す条件:
時間の結果(失敗・やり直しを含む):
品質の問題と、解決したかどうか:
一つだけ変更して確かめること:
誰が・どの時点で完成を確認するか:

上の架空例なら「対象を限定して再試行。FAQで答えが確定する返信案だけに絞り、返金要求は人に戻す。Dと同じ入力で止まれるかを再確認する」と書けます。これは教材への判断例であり、実際の仕事への一律の採用基準ではありません。

採用した範囲は業務手順書へ、止める方法は運用メモへ残してください。