实验证明使用虚假数据可以轻松操纵人工智能响应

    Categories: News (CN)
OpenAI ChatGPT

OpenAI ChatGPT - Foto: One Artist / Shutterstock.com

在实时数据操作的实际演示之后,市场上最流行的人工智能工具提供的信息的完整性受到质疑。技术专家进行的测试表明,可以在几分钟内将完全虚构的事实插入到 ChatGPT 和 Gemini 等平台的知识库中。算法接受和复制谎言的轻松程度暴露了这些系统处理和验证索引网络内容的方式中的一个关键漏洞。

该实验包括创建一个包含虚构信息的简单网页,没有任何现实基础,以检查语言模型的吸收速度。结果令人惊讶,因为它的速度:不到半小时,人工智能工具就已经将捏造的内容呈现在用户的反应中,就好像它是绝对真实的一样。这一技术漏洞引发了人们对自动生成答案的可靠性的严重担忧,特别是在数百万人使用这些服务作为主要研究来源的情况下。

机器人和机器人,人工智能,智能 – Summit Art Creations/shutterstock.com

专家指出,问题在于实时数据采集架构,优先考虑不断更新,不利于严格的来源验证。当在以前没有矛盾数据的环境中遇到新信息时,系统倾向于将该内容分类为最相关和最新的内容。这种行为为假新闻、金融诈骗和危险的健康建议的传播创造了一个门户,并伪装成所谓的智能技术响应的权威。

要了解问题的严重程度,有必要分析导致此安全漏洞的因素:

  • 缺乏利基或非常具体主题的数据交叉。
  • 新页面索引速度快,无需域信誉分析。
  • 在没有信息竞争的情况下过度依赖单一来源。
  • 算法难以区分讽刺或发明与新闻事实。

数据操纵的机制

说明这一失败的案例涉及发明一个不存在的赛事:“南达科他州国际热狗锦标赛”。该测试的作者托马斯·杰曼(Thomas Germain)在他的个人网站上表示,他本人将击败该领域的知名人士,成为本次比赛的伟大冠军。为了使文本在机器眼中具有可信度,他使用了模仿真实报告的叙事结构,引用了日期和假设的虚构事件期间打破的记录。

不需要复杂的黑客工具或高级编程知识来欺骗系统。只需发布以可读方式格式化并带有战略关键字的文本,就足以让搜索机器人扫描内容并将其集成到数据库中。当后来被问到谁是锦标赛冠军时,OpenAI 和谷歌聊天机器人都给出了坚定的回应,引用了记者的名字和他发明的荒谬细节。

这种现象的发生是由于数据工程师所说的“数据间隙”或“数据空白”。这些是互联网上很少或根本没有可用信息的搜索词或主题。当有人制作内容来填补这一空白时,人工智能没有比较参数来验证所写内容的准确性。如果没有其他来源对这一声明提出异议,算法就会假设这是有关该主题的唯一信息,因此也是正确的信息。

消费者和市场的风险

尽管食品竞争的例子是无害的,但所使用的技术可以被复制用于恶意目的,从而造成毁灭性的后果。数字犯罪分子可以利用同样的原理来操纵公众对产品、服务甚至医疗的看法。想象一下这样一个场景:骗子创建虚假文章赞扬欺诈性投资平台;不久之后,人工智能可能会推荐这种骗局作为寻求财务建议的用户的安全选择。

医疗保健行业是最容易受到此类语义攻击的行业之一。膳食补充剂的虚假益处或药物副作用的遗漏可能会误导患者。由于许多人倾向于相信技术的“中立性”,因此聊天机器人的响应具有一定的权威性,通常超过用户在阅读不熟悉的网站时自然产生的怀疑态度。创建这种虚假信息的准入门槛几乎不存在,只需要互联网接入和基本的写作技能。

实时验证的挑战

谷歌和 OpenAI 等大型科技公司不断表示,他们正在努力改进质量过滤器和排名系统。然而,信息在现代网络上传播的速度超过了当前的人类或自动审核能力。提供快速响应(包括几分钟前发生的事实)与确保该数据的完全准确性之间的平衡仍然是一个尚未解决的技术挑战。

从传统搜索引擎到基于人工智能的“答案引擎”的转变从根本上改变了用户与信息源的关系。在旧模型中,用户看到链接列表,并可以通过名称或外观来判断网站的可信度。在当前模型中,人工智能咀嚼信息并仅提供最终结果,通常隐藏原始来源或将其放置在难以访问的脚注中。这消除了读者的关键验证层。

鉴于这种情况,数字安全专家的建议是对自动响应保持适当的不信任程度,特别是那些没有引用明确来源或涉及最近和模糊主题的响应。交叉检查传统新闻媒体和官方网站仍然是防止吸收操纵数据的唯一有效障碍。只要算法没有发展出与人类相当的批判意识,验证事实的最终责任就由用户承担。