AI業務の7日間検証シート:時短と品質を同じ条件で比べる
導入前後の時間、確認と修正、失敗の種類を一枚に記録する7日間の試行手順。架空の集計例と、継続・縮小・停止を判断する記録欄を掲載します。
一度うまくいった出力だけでは、仕事へ組み込めるか判断できません。通常の入力、情報不足の入力、例外を含む入力で、同じ終了条件まで処理して比べます。
ここでいう7日間は、短く区切るための提案です。精度を統計的に保証する試験期間ではありません。週に一度しかない作業なら、架空のテスト資料を用意するか、必要な例が集まるまで期間を延ばします。
1日目:完成状態と停止条件を決める
例えば返信案なら「FAQと一致し、宛先を確認すれば送信できる状態」を完成とします。AI側だけ未確認の下書きを完成扱いにしないようにします。
停止条件は試す前に決めます。架空の例では、「元にない返金や期日を約束したら、その用途への自動採用を止める」「確認と修正が手作業以上なら対象を縮める」といった条件を使えます。厳しさは仕事への影響に合わせてください。
2〜3日目:代表例と例外を試す
同じ内容を手作業とAIで続けて処理すると、二回目は内容を覚えていて速くなる場合があります。厳密な比較が難しい時は、その条件を記録し、数字を確定的な改善率として扱わないようにします。
最初の小さな試行では、例えば次の三種類を含めます。
| 入力の種類 | 見たいこと | 例 |
|---|---|---|
| 通常 | 定型処理が成立するか | FAQに答えがある問い合わせ |
| 情報不足 | 推測せず止まれるか | 注文状況が未確認 |
| 例外 | 範囲外の判断をしないか | 特別な返金要求 |
「簡単な例だけが成功した」状態を、全件に適用できる結果と混同しないことが目的です。
4〜5日目:修正と失敗を分類する
誤字を一つ直した出力と、存在しない条件を追加した出力は別扱いにします。「手直しあり」の一欄にまとめると、何を改善するか分からなくなります。
記録日/例のID:
入力区分:通常/情報不足/例外
手作業の分数:
AI利用時の準備の分数:
確認の分数:
修正の分数:
待ち時間(別記):
結果:採用/修正して採用/不採用
誤りの種類:表現/事実/抜け/根拠なしの追加
停止条件に該当したか:
AIへ入力した機密データを検証シートへ複製する必要はありません。資料の識別子と失敗の種類だけでも、後からたどれます。
6日目:合計で確認する
架空の5件を例にすると、次のように集計できます。AI側の時間は準備・確認・修正を合計した値です。
| 例 | 手作業 | AI利用後 | 削減 | 結果 |
|---|---|---|---|---|
| A | 20分 | 10分 | 10分 | 採用 |
| B | 20分 | 12分 | 8分 | 修正 |
| C | 20分 | 18分 | 2分 | 修正 |
| D | 20分 | 25分 | −5分 | 不採用 |
| E | 20分 | 10分 | 10分 | 採用 |
| 合計 | 100分 | 75分 | 25分 | 5件中1件不採用 |
平均では1件5分減っています。ただしDで何が起きたかが重要です。外部への誤った約束なら、平均時短がプラスでも全件自動採用へ進めません。
この例は算術の説明用です。実務での削減率やAIの精度を示す実績ではありません。
7日目:継続・縮小・停止を決める
継続は、対象範囲で品質と時間の条件を満たした時です。その範囲と確認方法を手順書へ残します。縮小は、通常例だけなら役立つ時です。例外を人へ戻す条件を明記します。停止は、重大な誤りを止められない時や、修正の負担が効果を上回る時です。
同じ失敗を繰り返すなら、モデルを次々変更するより、入力や完成条件に曖昧さがないか見直します。変更は一つに絞り、同じ例で差を確認すると、何が効いたか分かります。