その答え、ほんとに合ってる？

間違いは、話で聞くより1回見るほうが早い

前のSTEPで「AIは堂々と間違う」と言いましたが、 正直、話で聞いただけだとピンとこないと思います。 なので今回は、わざと間違わせて、自分の目で見ます。

自分が正解を知っていることを聞けば、答え合わせが自分でできます。

これ、悩みリサーチ中に見かけて、うまいなと思ったやり方です。 自分の詳しい分野でだけ質問して、どれくらい当たるかを見る。 遊びみたいですが、AIの精度の体感がつかめる、かなり実用的な遊びです。

やってみる

1. 自分が正解を知っている題材を3つ選ぶ。 自分の趣味、長くやってきた仕事、出身地のこと、好きな作品。何でもいいです
2. それぞれについて、細かめの質問をする。 「◯◯の歴史をざっくり」より「◯◯が始まった年と、きっかけになった出来事は？」のように、 答えが1つに決まる聞き方にする
3. 返ってきた答えに、自分で丸付けをする

たぶん、思ったより当たります。そして、思ったより自然に間違えます。 両方見るのが今回の目的です。 全部合っていたら、もっとマニアックな質問に進んでみてください。 どこかで必ず、堂々とした間違いに出会えます。

細かい数字や年号、マイナーな固有名詞のあたりが崩れやすいです。 逆に、考え方や大まかな流れは強い。この崩れ方の偏りも、見ておくと後で効きます。

丸付けして分かること

何問かやると、感覚として入ってくるものがあります。 有名な話は強くて、細部は怪しい。 知らないと言えずに、それらしく埋めてくる。 この感覚を持っている人と持っていない人では、 同じAIを使っていても、事故率が全然違います。