その答え、ほんとに合ってる？

いちばん危ないのは、それらしい間違い

AIは、間違うときも堂々としています。

人間なら、自信が無いときは声が小さくなるじゃないですか。 AIはならないんですよ。合っているときと同じ顔で、同じ流暢さで、間違える。 だから読んでいる側は、文章の雰囲気から間違いを見抜けません。

これはAIの性格が悪いわけではなくて、仕組みの話です。 AIは「正解を調べて答える機械」ではなく、「いちばんそれらしい続きの文章を作る機械」なので、 知らないことを聞かれたときも、それらしい続きを作ってしまう。 この現象には名前が付いていて、ハルシネーション（AIがもっともらしい嘘を作ること）と呼ばれます。

素人には見えない、が本当に怖いところ

この間違い、質が悪いことに、詳しい人にしか見えません。

悩みを調べていたとき、医療系の専門家の方がコメント欄でこんな話をしていました。 自分の専門の解剖図をAIに描かせたら、見た目はきれいなのに、 臓器の位置がデタラメだった。素人が見たら分からないだろう、と。

つまりこういうことです。 自分が詳しい分野なら、間違いに気づける。詳しくない分野ほど、気づけないまま信じてしまう。そして僕らがAIに頼るのは、たいてい自分が詳しくない分野のほうなんですよね。

じゃあ使えないのかというと、違う

ここまで聞くと「やっぱりAIは信用できない」に振れそうになりますが、 それはそれで損な結論です。 天気予報が外れることを知っていても、僕らは天気予報を見ますよね。 外れ方の癖を知っていて、大事な日は他の情報でも確かめるからです。