全部疑うのは、無理

疑いましょう、と言うのは簡単なんですが、 返ってきた文章を毎回すみずみまで検証していたら、 AIに頼んだ意味がなくなります。実際、続きません。

なので、確かめる場所を先に決めておきます。3点だけです。

確かめるなぜここか
数字金額・件数・割合。それらしく埋められやすく、間違うと実害が出る
固有名詞人名・サービス名・地名。似た名前と混ざりやすい
日付年号・期限・リリース時期。AIの知識は少し古いことがある

数字・固有名詞・日付。事故になるのは、だいたいこの3つです。

考え方や文章の流れが多少ずれていても、読み直せば直せます。 でも、間違った数字や名前や日付をそのまま人に伝えると、 相手に実害が出て、信用の話になる。 守る場所を実害の出る3点に絞るのは、そういう理屈です。

なぜ、細かいところほど作られるのか

この3つに事故が集まるのには、理由があります。 AIは、次に来そうな言葉を1つずつ選んで文章を書いていて、ぼんやりした話ほど当てやすく、細かい話ほど当てにくい。だから、いちばん細かいところ、つまり数字や名前や日付で外れます。

主張が細かくなるほど、確かめる必要が上がります。

この見方ができると、確かめる場所を自分で足せるようになります。 たとえばURL引用文。 どちらも細かさの塊なので、3点と同じくらい作られやすいです。 リンクを開いたらページが無い、言っていないことが引用されている。 どちらも普通に起きます。

確かめ方は、ずらして確かめる

ここで1つ、やりがちな失敗を先に言っておきます。 AIに「これ、本当に合ってる?」と聞き直すやり方、あれは確かめになっていません。 同じAIに聞き直すと、同じ間違いを自信を持って繰り返すことがあるからです。

  • 検索で確かめる。数字・名前・日付を検索して、公式の情報と突き合わせる
  • 元の資料で確かめる。資料を読ませた場合は、該当の場所を開いて自分の目で見る
  • 別の道具で確かめる。調べる機能のあるAIに、出どころ付きで聞き直す
ここだけ覚える

確かめは、答えを出した本人以外でやる。3点だけ、別の場所と突き合わせる。ここまでやって確かめです。

つまずきやすいところ

「合ってる?」と聞いたら「申し訳ありません、正しくは〜」と直してくれたので、今度は合っていると思った。

その訂正も、同じ仕組みで作られた「それらしい続き」です。僕も一度、訂正の訂正でさらに違う答えが出てきて、3つの答えを前に途方に暮れたことがあります。外に出る数字・名前・日付は、AIの外で確かめる。ここは面倒でも譲らないほうがいいです。

終わったら、ここが言えるか確かめる
  • 確かめる3点を、何も見ずに言える
  • 「AI本人に聞き直す」が確かめにならない理由を言える
  • 直近でAIから受け取った文章の3点を、実際に確かめてみた