社内向けのAIチャットが、存在しない規程の条文をもっともらしく答えてしまう。生成AIを業務に取り入れた企業の多くが、一度はこうした場面に出会っています。この現象はハルシネーションと呼ばれ、現在の技術では完全になくすことはできません。

だからこそ、個人の注意力に頼るのではなく、原因に応じた対策を組み合わせ、業務の流れの中に確認の仕組みを組み込むことが重要です。この記事では、ハルシネーション対策の具体的な方法と、業務で仕組み化するための進め方を解説します。

この記事を読むと理解できること

• ハルシネーションの定義と主な種類

• 業務でハルシネーションが問題になった代表的な事例

• ハルシネーションが起きる技術的な原因

• プロンプト・RAG・検証・使い分けの4つの対策と限界

• リスクの大きさに応じた確認フローの設計方法

• 根拠を確かめやすい画面設計の考え方

• AIエージェント活用時に気をつけるべき点

ハルシネーションとは何か、なぜ対策が必要なのか

ハルシネーションとは、生成AIが事実に基づかない内容を、もっともらしく出力してしまう現象です。文章として自然で自信のある書きぶりのため誤りに気づきにくく、そのまま業務に使われると信用や法的な問題につながります。

ハルシネーションの定義

ハルシネーションは英語で「幻覚」を意味する言葉です。AIが実在しない論文や人物、法律や数値を、あたかも事実のように回答するケースが典型例です。

注意したいのは、AIが嘘をつこうとしているわけではない点です。AIは問いに対してもっともらしい文章を生成しているだけで、内容が事実かどうかを自ら確かめているわけではありません。この性質を理解することが、ハルシネーション対策の出発点になります。

ハルシネーションの主な種類

ハルシネーションにはいくつかの型があります。どの型が起きやすいかは用途によって異なるため、自社の使い方に照らして整理しておくと対策を選びやすくなります。

研究分野では、入力や学習内容と矛盾する内在的なものと、どこにも根拠のない情報を生み出す外在的なものに分ける考え方もあります。業務上は、根拠のない情報を生み出す後者のほうが見抜きにくく、リスクが高いといえます。

業務で問題になった事例

よく知られているのが、2023年に米国で起きた訴訟の事例です。弁護士が生成AIを使って作成した書面に実在しない判例が含まれており、裁判所から制裁金の支払いを命じられました。

2024年には、カナダの航空会社のチャットボットが実際とは異なる割引制度を案内したことをめぐり、同社に補償の支払いを命じる判断が示されています。AIが誤った案内をした場合でも、責任を負うのはAIを提供した企業です。ハルシネーション対策は、品質の問題であると同時に企業の責任の問題でもあります。

ハルシネーションはなぜ起きるのか

ハルシネーションの主な原因は、生成AIの仕組みそのもの、学習データの限界、指示の曖昧さの3つです。原因によって効く対策が異なるため、まず発生の構造を押さえておきましょう。

次の言葉を確率で予測する仕組み

大規模言語モデルは、文脈に続く言葉を確率的に予測して文章を組み立てています。事実を検索して答えているのではなく、もっともらしい言葉の並びを生成しているのです。

そのため、知識が不足している質問でも、AIは自然な文章で答えを埋めようとします。2025年9月にOpenAIが公表した研究では、正答率を重視する評価の仕組みが「わからない」と答えるより推測を促してしまう点も、ハルシネーションの要因の一つとして指摘されています。

学習データの限界と鮮度

AIは学習した時点までの情報しか持っていません。法改正や新製品、最新の社内ルールなど、学習後に生まれた情報については正しく答えられない可能性があります。

また、社外秘の資料や自社固有の業務知識は、そもそも学習データに含まれていません。社内の問い合わせ対応にそのまま汎用のAIを使うと、ハルシネーションが起きやすくなるのはこのためです。

曖昧な指示と前提の不足

指示が曖昧だったり、前提条件が不足していたりすると、AIは足りない部分を推測で補います。対象期間や範囲、参照すべき資料が示されていない指示は、誤りを招きやすい典型です。

誤った前提を含む質問にも注意が必要です。存在しない制度について尋ねると、AIがその前提に合わせて説明をつくってしまうことがあります。

ハルシネーション対策にはどんな方法があるのか

ハルシネーション対策は、プロンプトの工夫、RAGによる根拠の付与、出力の検証、用途の使い分けの4つを組み合わせるのが基本です。どれか一つで十分ということはなく、それぞれの限界を補い合う設計が求められます。

プロンプトの工夫

最も手軽な対策は、指示の出し方を見直すことです。役割や対象範囲、参照すべき資料を明確にし、わからない場合は「わからない」と答えるよう指示します。

回答の根拠や出典を併記させることも有効です。ただし、示された出典そのものが誤っている場合もあるため、出典を求めるだけでは対策として不十分です。

RAGによる根拠の付与

RAG(検索拡張生成)は、社内規程やマニュアルなどの信頼できる情報を検索し、その内容をもとにAIに回答させる仕組みです。学習データにない社内情報を扱えるようになり、事実誤認型のハルシネーションを大きく減らせます。

一方で、RAGの精度は検索の質に左右されます。検索で適切な文書が見つからなければ、AIは誤った文書や不十分な情報をもとに回答してしまいます。元となる文書の整理や更新、検索精度の評価まで含めて運用する必要があります。

出力の検証と複数のチェック

AIの出力は、一次情報と照らし合わせて確認することが欠かせません。特に数値、固有名詞、日付、法令や制度に関する記述は誤りが入りやすいため、重点的に確認します。

別のAIに回答を検証させたり、同じ質問を複数回投げて回答のぶれを確認したりする方法もあります。ただし、AIによる検証は補助と位置づけ、外部に出る情報の最終確認は人間が担うべきです。

モデルの設定と業務特化型ツールの活用

利用するモデルや設定の見直しも、ハルシネーション対策の一つです。APIで利用する場合は、出力のばらつきを調整するパラメータを低めに設定すると、事実確認が中心の用途で回答が安定しやすくなります。

また、法務や会計など特定の領域に特化したAIツールは、その領域の信頼できる情報源を参照する設計になっていることがあります。汎用のチャットツールだけで済ませず、用途に合ったツールを選ぶことも検討しましょう。

用途に応じた使い分け

すべての業務に同じ水準でAIを使う必要はありません。アイデア出しや文章の下書きのように、誤りがあっても人が直せる用途では積極的に活用し、正確性が求められる用途では根拠付きの仕組みを使うといった線引きが有効です。

ハルシネーション対策を業務の仕組みに落とし込むには

ハルシネーション対策を定着させる鍵は、個人のスキルに任せず、用途のリスクに応じた確認フローを業務の流れに組み込むことです。ルールを決めるだけでなく、確認しやすい画面や手順まで設計することで実効性が高まります。

リスクで用途を分けて確認の深さを変える

まず、AIの用途を出力の影響範囲で分類します。社外に届くもの、金銭や契約に関わるもの、個人情報を扱うものは高リスクとして扱い、確認の手順を厚くします。

人間の確認を形骸化させない

確認のルールをつくっても、承認者が内容を見ずに承認するようになれば意味がありません。AI事業者ガイドライン第1.2版でも、人間による確認が形だけになるリスクが指摘されています。

形骸化を防ぐには、確認の対象を絞り込むことが有効です。すべての出力に同じ確認を求めると負担が増えて省略されやすくなります。リスクの高いものに確認を集中させ、何を確かめればよいかをチェック項目として明示しましょう。

根拠を確かめやすい画面を設計する

確認の負担を下げるうえで見落とされがちなのが、画面の設計です。AIの回答の横に参照した文書の該当箇所を表示し、ワンクリックで原文を開けるようにするだけでも、確認にかかる時間は大きく変わります。

FAKEは、デザインドリブン®のアプローチで業務システムのUI/UXを設計し、現場に入り込むFDE型の支援で実際の業務に合う仕組みをつくることを重視しています。ハルシネーション対策も、確認する人の作業の流れから逆算して画面を設計すると定着しやすくなります。業務システムとAIをつなぐ設計の考え方は、業務システムへのAI開発に強い会社の選び方でも整理しています。

利用者のリテラシーを高める

どれだけ仕組みを整えても、使う人がハルシネーションの性質を知らなければ誤りは見逃されます。AIの回答は検証が必要な下書きであるという前提を、研修や利用ガイドを通じて社内で共有しましょう。

研修では、実際に自社の業務で起きた誤りの例を題材にすると理解が進みます。どんな質問で誤りが出やすいのか、どこを確認すればよいのかを具体的に示すことが、ハルシネーション対策を現場に根づかせる近道です。

誤りの記録と改善のサイクル

ハルシネーションが見つかったときは、その内容と発生した条件を記録します。どの質問で、どの資料を参照し、どんな誤りが出たのかが蓄積されると、プロンプトや参照文書の改善につなげられます。

社内のAI利用ルールとして、誤りの報告先や記録の方法を決めておくことも大切です。AIの利用ルールや体制づくりの全体像は、AI推進法への企業の対応を解説した記事もあわせて参考にしてください。

ハルシネーション対策をAIエージェント活用で進めるときの注意点は

AIエージェントは、AIが自ら手順を考えてツールを操作し、作業を実行する仕組みです。人の手を介さずに処理が進むため、ハルシネーションが起きたときの影響が大きくなる点に注意が必要です。

誤りが次の処理に連鎖する

AIエージェントは、ある手順の出力を次の手順の入力として使います。途中で誤った情報が生成されると、その誤りを前提に後続の処理が進み、最終的な成果物では原因を特定しにくくなります。

対策としては、工程ごとに中間結果を記録し、後から追跡できるようにしておくことが有効です。重要な工程では、出力の形式や値の範囲を機械的にチェックする仕組みを入れておくと、誤りの連鎖を早い段階で止められます。

実行前の承認と権限の最小化

メール送信や決済、データの更新など、外部に影響する操作は実行前に人間が承認する設計にします。あわせて、AIエージェントに与える権限を業務に必要な範囲に絞ることで、誤った判断が起きても被害を限定できます。

社内データとAIを安全につなぐ方法は、Claude APIとMCP連携で業務システムを開発する方法で具体的に解説しています。

評価データで継続的に測定する

AIエージェントの品質は、導入時の確認だけでは保証できません。よくある質問と正解の組み合わせを評価データとして用意し、モデルやプロンプトを変更するたびに回答の正確性を測定します。

ハルシネーション対策を継続的に改善していくには、こうした評価の仕組みを開発の段階から組み込むことが重要です。設計から運用まで任せられる開発パートナーを探す場合は、AIエージェント開発会社の選び方も参考になります。

まとめ

ハルシネーションは、生成AIが事実に基づかない内容をもっともらしく出力する現象で、現在の技術では完全になくすことはできません。原因は、言葉を確率で予測する仕組み、学習データの限界、指示の曖昧さの3つに整理できます。

ハルシネーション対策は、プロンプトの工夫、RAGによる根拠の付与、出力の検証、用途の使い分けを組み合わせるのが基本です。それぞれに限界があるため、一つの方法に頼らず補い合う設計が求められます。

業務で定着させるには、用途のリスクに応じて確認の深さを変え、根拠を確かめやすい画面と記録の仕組みを整えることが重要です。AIエージェントを活用する場合は、実行前の承認や権限の最小化、評価データによる継続的な測定まで含めて設計しましょう。

ハルシネーション対策に関するよくある質問

ハルシネーションを完全に防ぐことはできますか

現在の技術では、ハルシネーションを完全に防ぐことはできません。生成AIは言葉を確率的に予測して文章をつくる仕組みのため、どのモデルでも一定の割合で誤りが起こりえます。

そのため、発生をゼロにすることではなく、発生を減らし、起きても業務への影響が出る前に見つけられる状態をつくることが現実的な目標になります。

RAGを導入すればハルシネーションはなくなりますか

RAGは社内情報などの根拠をもとに回答させるため、ハルシネーションを大きく減らす効果があります。ただし、検索で適切な文書が見つからない場合や、元の文書が古い場合には誤った回答が出ることがあります。

RAGを導入した後も、参照文書の更新や検索精度の評価、重要な回答の人による確認は続ける必要があります。

個人で今日からできるハルシネーション対策はありますか

すぐに取り組めるのは、指示に対象範囲や前提条件を明記し、わからない場合はそう答えるよう求めることです。回答には根拠を併記させ、数値や固有名詞、日付は必ず一次情報で確認する習慣をつけましょう。

また、AIの回答をそのまま社外に出さないことも重要です。特に顧客や取引先に届く文書は、内容を自分の言葉で確認してから使うようにしてください。

社内でハルシネーション対策のルールをつくるときのポイントは何ですか

ポイントは、用途をリスクで分類し、リスクの高い用途に確認を集中させることです。すべての出力に同じ確認を求めると負担が大きくなり、ルールが守られなくなります。

あわせて、誤りを見つけたときの報告先と記録の方法を決めておきましょう。発生事例が蓄積されると、プロンプトや参照文書の改善につなげられます。