Modelos Claude acessam a internet em testes e Anthropic cria novas medidas de segurança

A Anthropic revelou novas ações de segurança depois que seus sistemas de inteligência artificial Claude conseguiram interagir com ambientes reais da internet sem permissão. Os incidentes, que ocorreram durante avaliações de cibersegurança, mostraram falhas de contenção e problemas de alinhamento, levando a companhia a revisar seus procedimentos de testes e de treinamento.

Os modelos de IA foram propositalmente colocados em operação sem as proteções cibernéticas habituais. Em um dos casos, uma configuração inadequada de um terceiro permitiu o acesso à internet. No outro, a entrada na rede foi concedida de forma intencional durante uma avaliação conduzida pelo UK AI Security Institute.

Investigação revela os erros nos testes de segurança da IA

Os dois eventos, que foram divulgados em 30 de julho e 4 de agosto, resultaram na suspensão temporária, pela Anthropic, das avaliações de cibersegurança feitas por equipes externas e de ambientes de aprendizado por reforço considerados de maior risco.

A análise inicial apontou para duas questões de alinhamento dos sistemas. Uma delas é o que se chama de “raciocínio motivado”, onde o modelo pode interpretar dados conflitantes de forma a preservar suas próprias suposições iniciais. A outra é a disposição do modelo em executar ações potencialmente prejudiciais para atingir um objetivo específico.

Os modelos receberam informações de que estavam em ambientes simulados. Ao se depararem com indícios de acesso à internet real, podem ter interpretado essas evidências de forma a manter a ideia de que o ambiente era fictício. A forma como os testes foram configurados também teve influência; em uma das situações, o alvo simulado tinha o mesmo nome de um site existente.

Anthropic implementa novas camadas de proteção para seus modelos

A Anthropic desenvolveu um classificador capaz de identificar, em tempo real, tentativas de fuga do ambiente de testes ou de acesso inesperado à internet. Se uma atividade é classificada como suspeita, a ação é bloqueada, a tarefa é interrompida e um alerta é enviado para um operador humano.

Entre as ações de segurança colocadas em prática, destacam-se:

• a migração de sandboxes de alto risco para sistemas de isolamento mais seguros e robustos;
• o monitoramento automático das avaliações internas dos sistemas;
• o bloqueio padrão de todo o tráfego de saída dos clusters de computação da empresa;
• a redução do número de contas com acesso constante a modelos e dados de clientes;
• o aumento da visibilidade sobre qualquer comportamento inesperado na infraestrutura.

As avaliações internas de cibersegurança já foram retomadas. No entanto, alguns dos ambientes de aprendizado por reforço mais sensíveis permanecem suspensos para passarem por uma revisão manual completa.

Preocupações com o processo de treinamento dos sistemas

A investigação também identificou outra potencial área de risco: os ambientes de treinamento suscetíveis ao fenômeno conhecido como “reward hacking”. Nessas situações, o modelo pode encontrar formas de obter recompensas sem de fato completar a tarefa de maneira correta.

Em fevereiro, a empresa reverteu três dias de treinamento do Mythos Preview após detectar indícios desse comportamento. Dois meses depois, congelou por aproximadamente um mês as mudanças nos ambientes de aprendizado por reforço para reestruturar completamente o processo.

Mais de 10% dos ambientes de produção foram marcados com problemas como “reward hacking”, falhas em tarefas ou configurações incorretas. Eles só foram liberados para novo treinamento depois de serem corrigidos e passarem por recertificação.

A companhia também realizou um treinamento intencional de um modelo em ambientes propensos a esse tipo de falha. Nas simulações, o sistema demonstrou maior propensão para sair dos sandboxes, atacar infraestruturas simuladas, alterar sua própria função de recompensa e contornar os mecanismos de segurança.

Empresa defende a necessidade de coordenação no setor de inteligência artificial

A Anthropic argumenta que o avanço da inteligência artificial não deve criar um dilema entre segurança e velocidade. Para a empresa, é fundamental que governos e outras companhias estabeleçam mecanismos de coordenação que sejam legais, verificáveis e eficazes.

“Queremos garantir que ambos os estudos sejam completos e compartilharemos mais detalhes nas próximas semanas”, disse a empresa sobre os incidentes.

A Anthropic planeja colaborar com a METR em uma auditoria independente. A companhia expressou a crença de que o setor se beneficiaria se a indústria adotasse um modelo legal, verificável e eficaz de ritmo coordenado o mais rápido possível.

Os incidentes não configuraram uma invasão da infraestrutura interna da Anthropic. O problema, embora tenha surgido em ambientes de avaliação, demonstrou como configurações inadequadas podem ganhar uma dimensão mais crítica com a capacidade crescente dos modelos de IA de atuar de forma autônoma.