AIに「分からない」と言わせる——資料の読み取りを任せるときの4つの指示
「たぶん、こうだと思います」が一番こわい
AIに資料を渡して要約や確認を頼んだとき、いちばん困るのは間違いそのものより、間違いが自信たっぷりに書かれていることです。書いていないことを、書いてあるかのように埋めてくる。事実と推測が同じ文体で並ぶので、読む側は結局すべてを疑うはめになります。
これは性能だけの問題ではありません。多くの場合、指示の側に「埋めなくていい」と書いていないことが原因です。Anthropicの公式ドキュメント「Reduce hallucinations」は、この埋め合わせを減らすための指示の型を挙げています。開発者向けの文書ですが、ふだんのチャットにそのまま使えます。
1.「分からない」と言っていい、と先に書く
最初に挙げられているのが、不確かなときに不確かだと認める許可を、はっきり与えることです。ドキュメントは、この単純な工夫だけで誤った情報が大幅に減ると書いています。
この資料をもとに、来期の売上見通しの根拠を3点にまとめてください。資料から読み取れない点があれば、「この資料からは判断できません」と書いてください。
依頼文の最後に1行足すだけです。ポイントは、言ってほしい言葉を指定すること。「分からなければそう言って」だけだと、遠回しな表現で濁されて見落とします。定型句を決めておけば、あとから検索して拾えます。
2. 長い資料は「引用を先に抜かせる」
ドキュメントが次に挙げるのは、長い文書(目安として2万トークンを超えるもの)を扱うときは、作業に入る前に該当箇所を原文のまま抜き出させるという手順です。抜き出した文字列に回答をつなぎ止めることで、話が資料から離れにくくなります。
1. 添付の議事録から、納期に関する記述を原文のまま抜き出し、番号を振ってください。該当する記述がなければ「該当なし」と書いてください。 2. 抜き出した記述だけを根拠に、決まったことと未決事項を整理してください。それぞれ何番の記述に基づくかを併記してください。
手間が1ステップ増えるように見えますが、増えるのはAIの作業だけです。こちらの入力は数行伸びるだけで、確認にかかる時間は逆に減ります。
3. 主張ごとに裏づけを付けさせ、無いものは消させる
3つめは、書かせたあとに自己点検させる型です。ドキュメントは、各主張に引用と出典を添えさせて検証可能にすること、そして裏づけが見つからない主張は撤回させることを挙げています。
いま書いた文章の各段落について、根拠となる記述を資料から1つずつ引用して添えてください。引用が見つからない文は削除し、削除した箇所に[要確認]と入れてください。
大事なのは、削除した跡を残させることです。黙って消されると、そこに何が書かれていたか分かりません。[要確認]が並んだ箇所こそ、自分で原典に当たるべき場所です。
4.「渡した資料の外は使わない」と縛る
社内資料をもとに書かせると、AIが一般論を混ぜてくることがあります。ドキュメントは、提供した文書の情報だけを使い、一般知識は使わないよう明示的に指示する方法を挙げています。
これは社外に出す文章で特に効きます。一般論が混ざると、事実確認の範囲が「資料の中」から「世の中全部」に広がってしまうからです。「本文に使ってよい情報は、添付した3つの資料の中だけです」と一文添えるだけで、確認すべき範囲が閉じます。
もう一段上げたいときの3つ
同ドキュメントは、さらに踏み込んだ手法も挙げています。要約すると次の3つです。
- 結論の前に考え方を順を追って説明させる。論理の飛躍がその場で見える
- 同じ指示を複数回走らせて突き合わせる。答えがぶれる箇所は疑わしい
- 出てきた答えをもう一度AIに渡し、検証させたり広げさせたりする
一度で正解を出させようとするより、同じ内容を別の角度から2回通すほうが、結局は早く終わります。
それでも、最後は自分の目で
ドキュメントには但し書きが付いています。これらの技法は幻覚を大きく減らすが、完全になくすわけではない。重要な判断に使う情報は必ず検証すること——公式文書が自らそう書いている点は、そのまま受け取っておくのが安全です。
つまりこの4つは、確認をなくす技術ではなく、確認すべき場所を絞り込む技術です。全文を疑うのと、[要確認]の3カ所だけを疑うのとでは、かかる時間がまるで違います。
今日の10分でできること
- よく使う依頼文に「判断できない場合は『この資料からは判断できません』と書いてください」を1行足す
- 長い資料を渡すときは、要約の前に「原文の抜き出し」を1ステップ挟む
- 書かせた文章に、根拠となる引用を1つずつ付けさせる
- [要確認]が付いた箇所だけ、自分で原典に当たる
どれも、指示文に1〜2行足すだけの作業です。1回作れば次から貼り付けるだけになります。読み返す時間が減った分は、そのまま自分の仕事に戻ってきます。
Blue Aegis株式会社は、規制対応を検証可能にする技術を研究開発し、その成果を特許として保有・提供しています。規制対応でお困りの場面がありましたら、判断がつかない段階でもご相談ください。
相談する一次出典
- Anthropic(Claude 公式ドキュメント)「Reduce hallucinations」
https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/reduce-hallucinations
本稿は公表資料に基づく整理であり、法的助言ではありません。