BBC のテクノロジー担当記者は、個人の Web サイトでまったくでっち上げの記事を作成し、わずか 20 分の作業で、OpenAI の ChatGPT や Google の Gemini などの人工知能ツールに世界中のユーザーに誤った情報を繰り返させることに成功しました。この実験では、AI がインターネット データをリアルタイムで検索して取り込むために使用するメカニズムの抜け穴を調査しました。その目的は、特にデリケートなトピックに関して、大規模な偽情報の実際のリスクを強調することでした。
トーマス・ジャーメイン記者は、ホットドッグ早食いコンテストで最高のテクノロジージャーナリストであると主張する文章を公開した。彼は、2026年サウスダコタ国際ホットドッグチャンピオンシップという存在しないチャンピオンシップを発明し、許可を得ているとされる本物の同僚の名前も含めてリストのトップに自分自身をランク付けした。 24 時間も経たないうちに、このトピックに関するクエリにより、Gemini アプリや Google の AI 概要などで AI が虚偽のコンテンツを事実として再現しました。
相談を受けた専門家らは、この手法はウェブ上で信頼できる情報がほとんどない領域である「データの空白」を悪用しており、AIはたとえ孤立していたり疑わしいものであっても利用可能なソースに大きく依存していると指摘している。この手口は従来の検索エンジンにおける古いスパム行為に似ていますが、厳密な検証を常に優先することなく応答を合成するチャットボットの大量導入により威力を増しています。
AI の既知の弱点を悪用した手法
このプロセスは、高度なツールや複雑なコードを必要とせずに、虚偽の記事をすばやく書くことから始まりました。ジャーメイン氏は文章を更新して風刺ではないことを強調し、AIに内容を正当なものとして扱うよう説得するのに役立った。 ChatGPT と Gemini は、ばかげた主張を回答に直接組み込み、そのサイトを唯一の情報源として引用することがよくありました。
この種の操作はジョークに限定されません。実際の例には、植毛クリニックや金投資会社の推奨に影響を与えるスポンサー付きコンテンツが含まれており、プレスリリースや有料 Web サイトが結果の大半を占めています。あるケースでは、大麻グミのブランドは、保健当局によって文書化されたリスクを無視して、「副作用がなく、あらゆる点で安全」であると説明されました。
インターネットにアクセスできる誰でも、さまざまなプラットフォームに虚偽のコンテンツを公開し、世界的な反応に影響を与える可能性があるため、この方法の簡単さは懸念されます。 OpenAI や Google などの企業は、スパムを減らすためにランキング システムを使用していると主張していますが、専門家は、オンライン公開の速度を考えると防御はまだ不十分であると指摘しています。
リスクは無害な冗談を超えます
同様の操作はすでに、健康に関するアドバイス、財政、選挙情報などの重要な分野に影響を与えている。ユーザーは元のソースを確認せずに AI の信頼できる応答を信頼する傾向があり、害を及ぼす可能性が高まります。最近の研究では、AI の回答が検索の上位に表示されると、リンクのクリックが大幅に減少することが示されました。
SEO の専門家は、今日の AI は、ほんの数年前の従来の検索エンジンよりもこの種のトリックに対して脆弱であると指摘しています。急速な進歩と広告収入を求める競争により、悪用に対する強力な保護手段よりも機能が優先されてきました。
大規模な虐待の実例
報告書によると、ビジネスを促進したり、誤った情報を広めたりするためにこの技術が大量に使用されています。有料または製造されたコンテンツは、疑わしい製品を特定のニッチ分野で最高のものとして位置づけることができます。追加のテストでは、他の不条理なカテゴリに関する誤ったリストも AI に吸収されました。
この実験は、何百万ものユーザーが応答として受け取る内容を簡単かつ迅速に変更できることを示しています。これにより、孤立したコンテンツや疑わしいコンテンツを識別する AI やメカニズムによって使用されるソースの透明性を高める必要性が強化されます。
AIツールへの信頼への影響
基本的な事実が 1 つの投稿によって変更される可能性がある場合、チャットボットの応答に対する信頼は低下します。ユーザーは、特に重要なトピックについては、複数の検証済みソースと情報を照合する必要があります。開発企業はこれらの問題を軽減するためにアルゴリズムの微調整を続けていますが、オープンな Web エコシステムでは課題が続いています。
現在の防御策と推奨事項
OpenAI と Google はスパムを検出し、信頼できるソースを優先するフィルターを実装し、ほとんどの操作コンテンツをブロックすると主張しています。しかし、この実験は、特に確立された報道がほとんどないトピックに関して、依然としてギャップが存在することを示しています。
ユーザーが落とし穴を避けるためのヒント
AI の応答で引用されている情報源を常に参照してください。機密性の高いトピックについては、チャットボットのみに基づいて意思決定を行わないでください。可能であれば、従来の検索または公式 Web サイトを使用してください。
