再現テスト条件
- 実行日:
- 使用環境: 同じ環境を使い、取得できないモデル名は推測しない
- 題材: 同一の3つの確認済み事実を使った「AIツール利用前チェック」の作成
- 試行回数: A・B各1回
- 評価: 指示どおりか、構成、情報の抜け、不要情報、出典の確認、再修正
固定した検証用資料
A: 短く曖昧な指示
AIを仕事で使う前のチェックリストを書いて。
実際の出力
- 利用目的を明確にする
- 機密情報や個人情報を入力しない
- AIの出力内容を確認する
- 利用規約を確認する
- 必要に応じて人が修正する
一般的な項目は並びましたが、根拠番号、対象読者、出力数、未確認事項の扱いは揃いませんでした。
B: Goal（目的）/ Context（前提）/ Constraints（条件）/ Evidence（根拠）/ Output（出力形式）
Goal（目的）: 初めて生成AIを顧客業務に使う人が、入力前に停止判断できるチェックリストを作る。
Context（前提）: 上記の検証用資料にある3つの事実だけを使う。
Constraints（条件）: 新しい事実・料金・法律判断を追加しない。不明点は「要確認」と書く。成果を保証しない。
Evidence（根拠）: 各項目に検証用資料の番号を付ける。
Output（出力形式）: 「確認項目 / 停止条件 / 確認先 / 根拠」の4列、6行以内の表。
実際の出力
| 確認項目 | 停止条件 | 確認先 | 根拠 |
|---|---|---|---|
| 使用する製品・プラン | 個人向けか業務向けか判別できない | 契約画面・管理者 | 1 |
| モデル改善への利用設定 | 設定または許可範囲が不明 | 公式設定・組織ルール | 1 |
| 個人情報の入力可否 | 法令上の義務や本人・顧客の許可が不明 | 個人情報保護方針・契約 | 3 |
| 利用規約・プライバシー条件 | 適用条件を確認していない | 提供事業者の公式文書 | 3 |
| 出力の正確性 | 元資料へ戻って評価できない | 一次情報・担当者 | 2 |
学習利用設定、入力権限、個人情報、出力の事実確認を4列で整理し、根拠番号と停止条件を付けました。指定外の料金や法的結論は追加しませんでした。 [1]
評価結果
| 評価軸 | A | B |
|---|---|---|
| 指示遵守 | 依頼が短く、合否条件を置けない | 列・行・根拠・禁止事項を確認可能 |
| 出力構造 | 一般的な箇条書き | 4列の判断表 |
| 情報の抜け | 学習利用条件・根拠番号が不安定 | 固定した3項目を反映 |
| 不要情報 | 一般論を足しやすい | 追加事実を禁止 |
| ソース確認 | 項目から根拠へ戻れない | 各行に根拠番号 |
| 再修正 | 表・停止条件・出典の追加が必要 | 語調調整を除き構造修正は小さい |
再利用できる型
Goal（目的）:
Context（前提）:
Constraints（条件）:
- 使ってよい情報:
- 追加してはいけない情報:
- 不明点の表示:
Evidence（根拠）:
- 各主張から出典へ戻れること
Output（出力形式）:
- 形式:
- 上限:
- 確認項目:
構造化すれば内容が正しいと保証されるわけではありません。目的は、検査可能な出力条件を先に作ることです。