谷歌在健康搜索的人工智能摘要中忽略了早期警告,使用户面临风险

1 min de leitura
Google Foto: Google - daily_creativity/ shutterstock.com

谷歌因在人工智能生成的健康相关搜索摘要中没有突出显示安全警报而面临批评。最近的一项调查显示,在搜索结果顶部显示汇总答案的AI概述工具在用户首次查看医疗建议时不包含任何免责声明。该警告仅在互联网用户单击展开内容的选项(例如“显示更多”)后才会出现,即使如此,它也会出现在文本末尾,与所显示的其余信息相比,其字体较小且不太突出。

这种配置可能会导致过度依赖自动响应,尤其是在诊断、治疗或测试解释等敏感主题上。人工智能专家和患者组织代表指出,页面顶部摘要的特权位置阻碍了检查其他来源或咨询合格的医疗保健专业人员。

警报的定位引发争议

医疗摘要开头缺乏明显的免责声明已被确定为损害用户安全的一个因素。当内容扩展时,警告会提到可能出现错误并建议寻求专业指导,但许多互联网用户并没有走到这个阶段。

专注于病情严重的患者的实体认为,警报应该立即出现,并具有与正文相同的印刷重点。这一措施将有助于停止自动阅读并鼓励对收到的信息进行更批判性的评估。

专家警告人工智能幻觉的危险

人工智能模型,即使是最先进的模型,也可以生成人为的信息,或者优先考虑听起来合理而不是准确的答案。这种被称为幻觉的特征在医疗咨询中带来了更大的风险,不正确的细节可能会影响重要的决定。

研究人员强调,突出的警告是干预的一个重要点。它们打破了绝对权威的观念,并鼓励用户在根据生成的摘要采取行动之前与其他可靠来源交叉检查数据。

谷歌为该工具当前的方法辩护

一位公司发言人表示,人工智能摘要通常会在适当的时候在文本中提到需要直接咨询医疗保健专业人员。寻求医疗护理的建议被认为是旨在指导用户的系统的核心要素。

Google
谷歌 – daily_creativity/shutterstock.com

该公司强调,人工智能生成的概述力求有用,并且基于网络上可用的优质资源。然而,批评者认为,界面的结构仍然允许在没有适当上下文谨慎的情况下使用主要内容。

对患者机构的批评加剧

专注于支持血液癌症等严重疾病患者的组织认为,目前的措施不足以保护公众。他们认为,通知必须是第一个可见的信息,其字体大小与主要摘要的字体大小相同。

缺乏直接的关注​​可能会阻止有实际情况的人寻求适当的人类诊断或治疗。实体警告称,屏幕顶部看起来完整且明确的答案会产生错误的安全感,并降低额外搜索的可能性。

此前案例已导致部分调整

在最近的事件中,调查已经发现特定医疗咨询中的不准确或误导性答案,例如肝脏检查的参考范围。在公开曝光后,谷歌删除了某些精确查询的人工智能摘要,尽管搜索的变化仍然可能触发该功能。

这些调整是为了回应与既定医疗指导相矛盾的信息报告。专家们继续质疑一次性删除是否可以解决所有医疗就诊中警报可见性的系统性问题。

公司对可靠性的定位

谷歌坚称,其人工智能工具鼓励专业查询,并且摘要的准确性与其他传统搜索资源相当。该公司致力于根据内部反馈和审查(包括临床团队的评估)改进该系统。

尽管有这些保证,但免责声明的配置仍然受到质疑。优先考虑生成的内容而不是警告通知可能会特别影响依赖在线搜索来获取初始健康指导的弱势用户。

Jeronimo Santos é colaborador da redação do Mix Vale, portal de notícias com cobertura de Brasil e mundo. Produz conteúdo nas editorias de economia e benefícios, com foco em informação de serviço para o leitor brasileiro. Escreve para o portal desde 2016: Formação: Marketing

Notícias relacionadas