AIチャットの誤回答（ハルシネーション）対策｜ゼロにならない前提で設計する3点セット

AIチャットの誤回答（ハルシネーション）は、生成AIの仕組みに由来するもので、完全にゼロにはできません。したがって対策の出発点は「誤回答をなくす」ことではなく、「誤回答が起きても業務と信頼を壊さない設計」にすることです。具体的には、①回答の根拠を自社資料だけに限定する、②断定させない・無理に答えさせない、③答えられないときは人に必ずつなぐ、の3点セットが実務の答えになります。本記事ではこの3点と、導入後の運用方法を解説します。

ハルシネーションはなぜ起きるのか

生成AIは、質問に対して「もっともらしい文章」を確率的に組み立てる仕組みです。知識を辞書のように正確に引いているわけではないため、知らないことを聞かれても、それらしい回答を作ってしまうことがあります。これがハルシネーションです。たとえば、存在しない規程の条文を挙げて社内制度を説明したり、実際には提供していないサービスの料金を案内したりといった形で現れます。文章が流暢なぶん、読み手が誤りに気づきにくいのが厄介な点です。

重要なのは、これがバグではなく仕組みの性質だという点です。モデルの性能向上で頻度は下がっても、原理的にゼロにはなりません。「高精度なAIを選べば解決する」という期待で導入すると、公開後に必ず裏切られます。前提を変えましょう。誤回答は起きうる。そのうえで、起きたときの影響を最小にする設計を選ぶ。これが会社の窓口としてAIを使うときの現実的な考え方です。

対策の全体像: 3点セット

誤回答対策は、次の3つを同時に満たして初めて機能します。どれか1つでは不十分です。

対策	内容	防げること
①出典ナレッジの限定	自社が用意した資料だけを根拠に回答させる（RAG）	一般知識や推測を混ぜた「知ったかぶり」の回答
②断定の禁止	資料に無いこと・曖昧なことを断定させない	根拠のない言い切りによる誤案内
③エスカレーション必須	答えられないときは担当者・窓口への案内を必ず返す	利用者が誤回答のまま行き止まりになること

以下、それぞれを詳しく見ていきます。

対策①: 回答の根拠を自社資料だけに限定する（RAG）

第一の対策は、AIが「何を根拠に話すか」を構造的に縛ることです。質問が来るたびに自社の資料（FAQ・マニュアル・規程）から関連箇所を検索し、見つかった内容だけを根拠に回答を生成する方式をRAGと呼びます。仕組みの詳細はRAGとは？自社の資料「だけ」で答えるAIの仕組みで解説しています。

この方式の本質は、答えられる範囲を意図的に狭くすることです。汎用のチャットAIのように何でも答える能力は失われますが、会社の窓口に必要なのは博識さではなく、自社のことを間違えないことです。汎用AIをそのまま窓口に使う場合との違いはChatGPTをそのまま「会社の窓口」に使えない3つの理由にまとめています。

なお、RAGでも資料側が間違っていれば回答も間違います。導入前に資料の重複・矛盾・古い記述を整理することが、地味ですが最も効果的な精度対策です。

対策②: 断定させない・無理に答えさせない

第二の対策は、回答の「口調と態度」の設計です。同じ内容でも、「〜です」と言い切るか、「資料では〜とされています。詳細は担当者にご確認ください」と返すかで、誤回答が起きたときの被害は大きく変わります。

私たちが提供するPersora Connectでは、資料に無いことは答えず、断定せず、答えられないときは担当者への案内を返すことを製品の設計原則にしています。「答えない」という動作は、一見すると物足りなく感じられますが、間違った回答を自信満々に返すことに比べれば、はるかに小さいコストです。チャットボットの評価では「答えられた率」だけでなく、「答えるべきでない質問に答えなかったか」を見ることをおすすめします。

対策③: 人へのエスカレーションを必ず用意する

第三の対策は、答えられないときの出口です。次の点を確認してください。

• 答えられない場合に、電話・メール・窓口など具体的な連絡先を案内するか
• 「分かりません」で会話が行き止まりにならないか
• 医療・法務・金銭など判断を伴う質問を、回答対象から外せるか

エスカレーションは敗北ではなく、AIと人の役割分担です。定型質問はAIが即答し、判断が必要な質問は最初から人に渡す。この分担が明確なほど、利用者の体験も現場の負担も安定します。この線引きが最も厳格に求められるのは医療分野で、クリニック・歯科の外国人患者対応では、症状相談には答えさせず受診前の定型質問だけを自動化する具体的な設計を扱っています。

導入後の運用: 未回答レビューで資料を育てる

3点セットは導入時の設計ですが、精度を維持するのは導入後の運用です。中心になるのが未回答レビュー、つまり「答えられなかった質問」を定期的に確認する習慣です。

1. 月に一度、未回答の質問を確認する — 何を聞かれて答えられなかったかの一覧を見る
2. 資料に足すか、人対応のままにするかを仕分ける — すべてを自動化する必要はありません
3. 資料を更新する — 追記・修正すれば、以後の回答に反映されます
4. 会話ログを抜き取りで確認する — 断定しすぎた回答や不自然な案内がないかを見る

この運用により、ナレッジは使うほど育ち、答えられる範囲が少しずつ広がります。逆にこの運用を持たない導入は、公開時が精度のピークになり、資料の陳腐化とともに劣化していきます。

まとめ: 「誤回答ゼロ」を売り文句にする製品ほど疑う

最後に、選定時の判断基準をまとめます。

• 誤回答の可能性を正直に説明し、答えない設計・人への案内を備えているか
• 回答の根拠を自社資料に限定できるか（RAG方式か）
• 未回答レビューと会話ログの閲覧など、運用の道具が揃っているか
• 資料や会話がAIの学習に使われない契約か

生成AIを業務に使う以上、誤回答の可能性と付き合い続けることになります。それを認めたうえで、影響を小さくする設計と、資料を育てる運用を備えること。それがAIチャットを長く安心して使うための、遠回りに見えて最短の道です。