生成AI（ChatGPTやGoogle Bardなど）の「ハルシネーション（虚偽生成）」により引き起こされた事故や問題の事例を、発生時期が新しい順に紹介します。
営業や販売、問い合わせ対応といった業務領域で実際に起きたケースを中心に、その概要と影響をまとめました。
ハルシネーションとは？
生成AIの「ハルシネーション」とは、本来存在しない情報や事実を、もっともらしく作り出してしまう現象のことです。
例えば、「そのような規則はないのに架空の社内ルールを説明する」「実在しない人物や出来事を語る」「データの中にない内容を補ってしまう」といった誤生成がこれにあたります。
AIがなぜこうした誤りを起こすかというと、あくまで統計的にもっとも自然な文章を作り出そうとするためで、事実の正確さを保証しているわけではないからです。
カスタマーサポートAIが架空ポリシーを回答 (Cursor社)
発生時期
2025年4月（発覚）
使用AI
Cursor社のサポート用チャットボット「Sam」（GPT系モデル搭載）
業務領域
ソフトウェア製品の問い合わせ対応（カスタマーサポート）
ハルシネーション内容
存在しないログイン制限ポリシーをでっち上げて案内した
概要
AI搭載のプログラミング支援ツール「Cursor」を提供する米スタートアップのAnysphere社で、サポートチャットボットが重大な誤回答を行いました。
ユーザーが「別の端末でログインしたら勝手にログアウトされるのはなぜか？」と問い合わせたところ、AI担当の仮想エージェント「Sam」が「サブスクリプションは1台のデバイスでしか利用できない新ポリシーのため」と回答しました。
しかし、そのようなログイン制限ポリシーは存在せず、AIがもっともらしく“架空の規約”を作り上げてしまったのです。
このでたらめ回答（ハルシネーション）を信じたユーザーたちは混乱し、「契約をキャンセルしたい」などとSNSや掲示板で不満を爆発させました。事態を重く見た同社共同創業者が即座に謝罪し、「そのようなポリシーは存在しない。AIの回答が誤りだった」と訂正しました。
社会的・業務的影響
顧客対応AIが事実無根の回答をしてしまったことで信頼が一気に揺らぎ、ユーザー離れ（解約検討）につながる寸前となりました。
企業側は急遽AIサポートへの注釈表示（AI回答であることの明示）や監督体制の強化を行い、再発防止策に追われています。
この事件はカスタマーサポート分野でAIを安易に使うことのリスクを示し、わずかなハルシネーションでも企業のブランド信用や顧客満足度に大きなダメージを与えうることが明らかになりました。
AIチャットボットの誤回答で航空会社が敗訴 (エア・カナダ)
発生時期
2024年（裁判判決）〔※トラブル発生は2023年末～2024年初〕
使用AI
エア・カナダの顧客対応チャットボット（生成AIベース）
業務領域
航空券に関する問い合わせ対応（カスタマーサービス）
ハルシネーション内容
忌引（きびき）割引の社内規定について誤った情報を案内
概要
カナダの大手航空会社エア・カナダでは、顧客対応に生成AI搭載のチャットボットを導入していました。ある乗客が「家族の葬儀のための割引を適用できるか？」と問い合わせたところ、ボットが誤った割引情報を回答してしまったことが発端です。
乗客はその回答を信じて行動しましたが、実際には期待していた割引を受けられず、不利益を被ったとしてエア・カナダを提訴しました。裁判の結果、エア・カナダ側の過失が認められ、裁判所は同社に対し乗客への損害賠償金と訴訟費用の支払いを命じました。この一件を受け、問題のチャットボットサービスは事案後に停止されています。
社会的・業務的影響
AIの誤答により企業が裁判で敗訴するという事態となり、世間に衝撃を与えました。
特に注目すべきは判決での指摘です。
裁判所は、たとえAIが回答した内容であっても「それを業務の一部として提供した以上、その誤った回答に対する責任は企業側が負うべきだ」との判断を示しました。
この判決は「AIを業務利用する企業は、ハルシネーションによる誤情報にも責任を負う」という重要な前例となり、各企業にAIリスク管理の必要性を認識させるものとなりました。
結果として、日本を含む各国の企業でも、生成AIチャットボット導入に慎重になる動きや、回答の検証プロセス強化などの対策が進む契機となっています。
AI生成の記事が誤情報を掲載 (Microsoft社の旅行ガイド記事)
発生時期
2023年8月頃
使用AI
Microsoft社のニュースサイト「Microsoft Start」で導入された記事生成AI
業務領域
コンテンツ作成・マーケティング（旅行先紹介記事の自動生成）
ハルシネーション内容
観光ガイド記事に場違いな施設を「名所」として紹介（文脈誤認による不適切情報）
概要
Microsoft社はニュース配信サイトで記者の代わりに生成AIを使った自動記事作成を試みていました。その中で公開されたカナダ・オタワの観光スポット紹介記事に、AIのハルシネーションが含まれていたことが判明しました。
記事は「オタワで訪れるべきスポットTop10」といった内容でしたが、その中に「オタワフードバンク」が含まれていたのです。
しかも紹介文では「空腹のまま訪れましょう」などと書かれており、フードバンク（生活困窮者向けの食料支援施設）を完全に誤解した不適切なコメントになっていました。
おそらくAIが「food bank」を文字通り「食の名所」だと勘違いし観光名所リストに入れてしまったものと思われます。他にも記載された施設情報に細かな誤りが見られ、全体的に記事の信頼性が低いことから「AI記事ではないか？」と指摘され発覚しました。
社会的・業務的影響
この件はAI活用によるコスト削減の裏で品質管理が疎かになった例として批判されました。
Microsoftは直前に編集スタッフを大量解雇しており、AI記事の不出来さがそれと結びつけて報道されています。
「50人の記者を解雇してこの出来とは…」との声も上がり、同社の評判に傷がつきました。
幸い直接的な利用者被害は出なかったようですが、公開記事での誤情報は企業ブランドにダメージを与え、AIによるコンテンツ生成の信頼性に疑問を投げかける結果となったと言えます。
以降、同社は記事生成AIの運用を見直し、人間によるチェック体制の強化や公開範囲の制限などを行ったとされています。マーケティングやメディア分野でも、ハルシネーション対策なしにAI任せにする危険が露呈した事例です。
ChatGPTが架空訴状を生成し名誉毀損で提訴 (米国)
発生時期
2023年6月
使用AI
ChatGPT（OpenAI社）
業務領域
情報問い合わせ・調査（ジャーナリストによる訴訟情報の問い合わせ）
ハルシネーション内容
実在人物に対し、架空の訴訟・犯罪行為をでっち上げた
概要
米ジョージア州のラジオ司会者マーク・ウォルターズ氏は、ChatGPTの出力したデタラメな内容によって名誉を毀損されたとしてOpenAI社を提訴しました。ウォルターズ氏自身は無関係なある裁判について、第三者の記者がChatGPTに説明を求めたところ、ChatGPTが全くの作り話の訴状を「もっともらしく」生成し、あたかもウォルターズ氏がその裁判で横領や詐欺行為を行ったかのような虚偽情報を回答してしまったのです。
具体的には、実在する銃権利団体と司法長官の訴訟案件に絡めて、「ウォルターズ氏がその団体から資金をだまし取り着服したため、団体創設者に告訴された」といった全くの事実無根のストーリーをでっち上げました。
当然ながらウォルターズ氏はそのような犯罪行為を行っておらず、訴訟にも関与していません。同氏は「AIの虚偽の回答によって reputational damage（評判への損害）を受けた」として、ChatGPTの開発元であるOpenAIに対する法的措置に踏み切りました。
社会的・業務的影響
これは生成AIのハルシネーションが現実の名誉毀損訴訟に発展した初めてのケースとして大きな話題となりました。
ChatGPTのような大型言語モデル(LLM)は、あたかも本当のことのように「もっともらしい嘘」を語れてしまうため、企業や個人への風評被害リスクが指摘されるようになりました。
実際、本件では「OpenAIが初めて名誉毀損で訴えられたケース」とも言われ、法律的にも生成AIの責任を問う試金石となりました。
この事件以降、各企業は自社の名前や製品に関するAI生成の風評被害に神経を尖らせるようになり、日本国内でも有名人や企業がAIに嘘の情報を書かれた場合の対応策が議論されています。
また、OpenAI側も利用規約で「不正確な情報を生成する可能性がある」旨の注意書きを表示していますが、利用者側に対する注意喚起だけでなく法的リスクへの対処も今後の課題となっています。
おわりに
各事例から明らかなように、生成AIのハルシネーションは多種多様な業務で現実的な被害を引き起こしています。
問い合わせ対応やカスタマーサポートでは誤情報が顧客トラブルや訴訟につながり、営業・販売分野では信用失墜やブランド毀損を招き、社内業務での利用でもプロが気付かない虚偽データ混入によるミスが起こり得ます。
日本企業においてもこれらのリスクへの関心は高まっており、ある調査では約72%の日本企業がChatGPTなど生成AIの業務利用を禁止または慎重に検討中とされています。
私見として、現時点では、間違いが許されないアウトプットをAIに生成させるのはやめた方がよいと思います。
