ひとことで言うと
ハルシネーションは、AI が知らないことを「知らない」と言わず、ありそうな話を組み立てて答えてしまうことです。
なぜ起きるのか
LLM は、次に自然そうな単語を並べるのが得意です。 そのため、正しい情報が手元にない時でも、文章として自然なら答えを作れてしまいます。
どんな時に起きやすいか
- 固有名詞や数値を厳密に聞いた時
- 最新ニュースや社内固有情報を聞いた時
- 曖昧な前提のまま長い質問をした時
- 出典確認を求めずに回答だけ急いだ時
実務で気にするポイント
- 重要な回答には出典確認をセットにする
- 社内文書や検索結果を一緒に渡して答えさせる
- 不明な時は「不明と言ってよい」と明示する
- 顧客向け文面は人が最後に確認する
注意: ハルシネーションはバグというより性質です。ゼロにはしにくいので、前提として検証フローを組み込む必要があります。