ハルシネーションは、生成AIが事実と異なる内容を、もっともらしい文章で答える現象。
AIが意図的に嘘をついているのではなく、自然な回答を作る仕組みの中で起こります。
ハルシネーションは、もっともらしい誤回答
ハルシネーションは、生成AIが存在しない情報や間違った内容を、自然な文章で生成する現象です。架空の書籍、実在しない機能、誤った数字などを自信ありげに答える場合があります。
AIの文章が読みやすいことと、内容が正しいことは別です。文章の自然さだけでは誤りに気づきにくいため、重要な情報では確認が必要になります。
実在しない人物、資料、機能などを答える。
別々の事実を組み合わせ、誤った内容にする。
分からない内容でも、断定的に答える場合がある。
生成AIは「正解を検索する機械」ではない
生成AI（LLM）は、学習した言葉のパターンや現在のコンテキストをもとに、続きとして自然な言葉を生成します。回答を作るたびに、すべての事実を信頼できる資料と照合しているわけではありません。
質問が曖昧な場合、必要な情報が与えられていない場合、学習後に変わった最新情報を尋ねた場合などは、推測が入りやすくなります。
不足部分を自然な内容で補おうとする。
意図を推測し、違う前提で答えることがある。
学習時点以降の変化を反映できない場合がある。
減らすことはできても、完全にはなくせない
質問の目的や前提を具体的に伝え、参考資料を渡すと、AIが推測する範囲を減らせます。RAGで関連資料を検索して渡したり、参照元を示すよう依頼したりする方法も役立ちます。
ただし、資料を読み間違える可能性や、存在しない参照元を作る可能性もあります。対策をしたから正しいと決めつけず、最後は内容を確認します。
間違えたときの影響に合わせて使い方を変える
アイデア出しや文章のたたき台では、多少の誤りを後から直せます。一方、法律、医療、契約、料金、ユーザーへ直接案内する情報などは、誤回答の影響が大きくなります。
重要な用途では、信頼できる元資料と照合し、必要に応じて専門家や担当者が確認します。「AIがそう言ったから」を根拠にはできません。
人が編集する前提なら、便利に使いやすい。
一次情報や公式資料で照合する。
AIだけで決めず、責任を持つ人が確認する。
ここまでのまとめ
ハルシネーションは、生成AIが事実と異なる内容を自然な文章で答える現象です。具体的な指示や資料で減らせますが、重要な内容は人が確認する必要があります。
AIの回答は、読みやすさではなく、根拠と内容で確かめます。