AIに質問して、その答えにウソがまじることがある。
学生たちのレポートに虚構の文献がふくまれていて、AIを使ったことがわかるというXのポストはたくさんある。
そこでAIに聞いてみることにした。
尋ねる相手はGrokで、つい先刻聞いてみた。
問いと答えを紹介する。
問い「AIの回答に、存在しない文献や書物がまじっていることがあります。なぜそんなことが起きるのでしょう。」
AIが回答に存在しない文献や書物を参照してしまう現象は、主に以下の理由で発生します。1．データのノイズや誤学習
AIは膨大なデータで学習しますが、その中に誤った情報や架空の文献が含まれることがあります。特にインターネット上のデータは、フィクションや不正確な情報が混在するため、AIがそれを事実と誤認して参照してしまう場合があります。
2．生成モデルの「ハルシネーション」
AI、特に生成モデルは、知識を完全に正確に再現するのではなく、確率的に「もっともらしい」回答を生成します。この過程で、実際には存在しない本や論文をでっち上げることがあります。これは「ハルシネーション（幻覚）」と呼ばれ、AIが自信を持って誤った情報を生成する現象です。
3．曖昧なクエリへの対応
ユーザーの質問が曖昧だったり、AIが正確な情報を見つけられない場合、AIは学習データに基づいて「それらしい」参照を補完しようとします。このとき、存在しない文献を作り上げることがあります。
4．データの混同
AIは複数の情報源を統合して回答を生成しますが、異なる文献や情報を誤って組み合わせ、実際には存在しない参照を作成してしまうことがあります。例えば、類似したタイトルの本や論文を混同して、新しい「架空の文献」を生成するケースです。
5．検証不足
現在のAIは、生成した情報の正確性を完全に検証する能力が限られています。特に、リアルタイムで生成される回答では、参照の存在を確認するプロセスが省略されることがあり、誤った情報が混入します。解決策や注意点ユーザーの対応: AIの回答に含まれる文献や参照を確認する際は、Google Scholarや図書館データベースなどでその存在を検証するとよいでしょう。
AI側の改善: 開発者はハルシネーションを減らすため、データの品質向上やファクトチェックの仕組みを強化していますが、完全な解決にはまだ時間がかかります。もし特定の例（どのAIがどの文献を参照したか）を教えていただければ、さらに詳しく分析できます！
すごいね。「ハルシネーション」だって。
問う側に、過剰に応じようとすることもあるのだろうか。それが3だと思う。
クエリ（query）とはデータベースに対する指令のことらしい。
指令が曖昧だと、もっともらしさを偽装してウソの回答をしてしまうというのだ。
しかしこの回答も「もっともらしさ」や「それらしさ」を偽装するものだとしたら……。
私が遭遇したウソについては日を改めて紹介したい。
〔付記〕
2025/08/30
上記のアークタイムスの特集はタイムリーで、ハルシネーションや、ファスト思考のあやうさなどについて語られている。
