全部疑うのは、無理
疑いましょう、と言うのは簡単なんですが、 返ってきた文章を毎回すみずみまで検証していたら、 AIに頼んだ意味がなくなります。実際、続きません。
なので、確かめる場所を先に決めておきます。3点だけです。
| 確かめる | なぜここか |
|---|---|
| 数字 | 金額・件数・割合。それらしく埋められやすく、間違うと実害が出る |
| 固有名詞 | 人名・サービス名・地名。似た名前と混ざりやすい |
| 日付 | 年号・期限・リリース時期。AIの知識は少し古いことがある |
数字・固有名詞・日付。事故になるのは、だいたいこの3つです。
考え方や文章の流れが多少ずれていても、読み直せば直せます。 でも、間違った数字や名前や日付をそのまま人に伝えると、 相手に実害が出て、信用の話になる。 守る場所を実害の出る3点に絞るのは、そういう理屈です。
なぜ、細かいところほど作られるのか
この3つに事故が集まるのには、理由があります。 AIは、次に来そうな言葉を1つずつ選んで文章を書いていて、ぼんやりした話ほど当てやすく、細かい話ほど当てにくい。だから、いちばん細かいところ、つまり数字や名前や日付で外れます。
主張が細かくなるほど、確かめる必要が上がります。
この見方ができると、確かめる場所を自分で足せるようになります。 たとえばURLと引用文。 どちらも細かさの塊なので、3点と同じくらい作られやすいです。 リンクを開いたらページが無い、言っていないことが引用されている。 どちらも普通に起きます。
確かめ方は、ずらして確かめる
ここで1つ、やりがちな失敗を先に言っておきます。 AIに「これ、本当に合ってる?」と聞き直すやり方、あれは確かめになっていません。 同じAIに聞き直すと、同じ間違いを自信を持って繰り返すことがあるからです。
- 検索で確かめる。数字・名前・日付を検索して、公式の情報と突き合わせる
- 元の資料で確かめる。資料を読ませた場合は、該当の場所を開いて自分の目で見る
- 別の道具で確かめる。調べる機能のあるAIに、出どころ付きで聞き直す
確かめは、答えを出した本人以外でやる。3点だけ、別の場所と突き合わせる。ここまでやって確かめです。
「合ってる?」と聞いたら「申し訳ありません、正しくは〜」と直してくれたので、今度は合っていると思った。
その訂正も、同じ仕組みで作られた「それらしい続き」です。僕も一度、訂正の訂正でさらに違う答えが出てきて、3つの答えを前に途方に暮れたことがあります。外に出る数字・名前・日付は、AIの外で確かめる。ここは面倒でも譲らないほうがいいです。
- 確かめる3点を、何も見ずに言える
- 「AI本人に聞き直す」が確かめにならない理由を言える
- 直近でAIから受け取った文章の3点を、実際に確かめてみた