実験により、偽のデータによる人工知能の応答の操作が容易であることが証明される

リアルタイムのデータ操作の実際的なデモンストレーションの後、市場で最も人気のある人工知能ツールによって提供される情報の完全性が疑問視されました。技術専門家によって実施されたテストにより、完全に発明された事実を ChatGPT や Gemini などのプラットフォームの知識ベースに数分で挿入できることが明らかになりました。アルゴリズムが嘘を受け入れて複製することが容易であるため、これらのシステムがインデックス付き Web コンテンツを処理および検証する方法に重大な脆弱性が露呈しています。

この実験は、何の根拠も持たない架空の情報を含む単純なインターネット ページを作成し、言語モデルによる吸収の速度をチェックするというものでした。その結果は、そのスピードの速さから驚くべきものでした。AI ツールは、30 分も経たないうちに、ユーザーへの応答において、捏造されたコンテンツをあたかも絶対的な真実であるかのように提示していました。この技術的な抜け穴は、特に数百万人がこれらのサービスを主な調査情報源として使用するシナリオにおいて、自動生成された回答の信頼性について深刻な懸念を引き起こします。

専門家らは、問題はリアルタイムのデータ収集アーキテクチャにあると指摘している。このアーキテクチャでは、継続的な更新が優先され、厳密なソース検証が損なわれることになる。以前に矛盾するデータがない環境で新しい情報に遭遇すると、システムはそのコンテンツを最も関連性が高く更新されたものとして分類する傾向があります。この行為は、おそらくインテリジェントな技術的対応を装った、フェイクニュース、金融詐欺、危険な健康上のアドバイスの拡散への入り口を生み出します。

問題の規模を理解するには、このセキュリティ侵害を引き起こした要因を分析する必要があります。

• ニッチなトピックや非常に特殊なトピックに関するデータが不足している。
• ドメイン評価分析を行わずに、新しいページのインデックス作成速度が速くなります。
• 情報競争がない場合、単一の情報源に過度に依存する。
• 風刺や発明をジャーナリズムの事実から区別するアルゴリズムの難しさ。

データ操作の仕組み

この失敗を示す事例には、「サウスダコタ国際ホットドッグ選手権」という、存在しないイベントの発明が関係していました。このテストの作者であるトーマス・ジャーメイン氏は、自身がこの分野の有名人を破って、このコンテストの偉大なチャンピオンになるだろうと個人ウェブサイトで発表した。機械の目に映るテキストに信頼性を与えるために、彼は架空の出来事の間に破られた日付と推定される記録を引用しながら、実際の報告を模倣した物語構造を使用しました。

システムをだますのに複雑なハッキング ツールや高度なプログラミングの知識は必要ありません。読みやすい形式に整えられ、戦略的なキーワードを使用してテキストを公開するだけで、検索ロボットがコンテンツをスキャンしてデータベースに統合するのに十分でした。後でトーナメントのチャンピオンは誰なのかと尋ねると、OpenAI と Google のチャットボットは両方とも確信を持って答え、記者の名前と彼がでっち上げたばかげた詳細を引用しました。

この現象は、データ エンジニアが「データ ギャップ」または「データ ボイド」と呼ぶものによって発生します。これらは、インターネット上で入手可能な情報がほとんどまたはまったくない検索用語またはトピックです。誰かがこの空白を埋めるためにコンテンツを作成する場合、人工知能には、書かれた内容の真実性を検証するための比較パラメータがありません。この声明に異論を唱える他の情報源がなければ、アルゴリズムはこれがこの件に関して入手可能な唯一の、したがって正しい情報であると想定します。

消費者と市場に対するリスク

食品競争の例は無害ですが、使用されたテクニックは悪意のある目的で複製され、壊滅的な結果をもたらす可能性があります。デジタル犯罪者は、これと同じ原理を利用して、製品、サービス、さらには医療行為についての一般の認識を操作する可能性があります。詐欺師が詐欺的な投資プラットフォームを賞賛する偽の記事を作成するシナリオを想像してください。近いうちに、AI は財務上のアドバイスを求めているユーザーに対して、安全な選択肢としてこの詐欺を推奨するようになるかもしれません。

ヘルスケア部門は、この種のセマンティック攻撃に対して最も脆弱な部門の 1 つです。栄養補助食品の虚偽の利点を挿入したり、医薬品の副作用を省略したりすると、患者に誤解を与える可能性があります。多くの人はテクノロジーの「中立性」を信頼する傾向があるため、チャットボットの応答には、ユーザーが見慣れない Web サイトを読んだときに抱くであろう自然な疑念を上回る権威の重みが伴います。この偽情報を作成するための参入障壁は事実上存在せず、必要なのはインターネット アクセスと基本的な文章スキルのみです。

リアルタイム検証の課題

Google や OpenAI などの大手テクノロジー企業は、品質フィルターやランキング システムの改善に取り組んでいると常に述べています。しかし、最新の Web 上で情報が伝わる速度は、現在の人間による管理機能や自動化された管理機能を超えています。ほんの数分前に発生した事実を含む迅速な応答の提供と、このデータの完全な正確性の確保との間のバランスは、未解決の技術的課題のままです。

従来の検索エンジンから AI ベースの「回答エンジン」への移行により、情報源とユーザーの関係が根本的に変わります。古いモデルでは、ユーザーはリンクのリストを見て、名前や外観でサイトの信頼性を判断できました。現在のモデルでは、AI が情報を咀嚼して最終結果のみを提供し、元の情報源が隠蔽されたり、アクセスできない脚注に置かれたりすることがよくあります。これにより、読者側の重要な検証の重要な層が削除されます。

このシナリオを踏まえると、デジタル セキュリティの専門家が推奨するのは、自動応答、特に明確な情報源を引用していない応答や、最近の不明瞭な主題を扱った応答に対して、健全なレベルの不信感を維持することです。従来の報道機関と公式ウェブサイトをクロスチェックすることが、操作されたデータの吸収に対する唯一の有効な障壁として残っています。アルゴリズムが人間と同等の批判的感覚を発達させない限り、事実を検証する最終責任はユーザーにあります。