Rebaixamento de modelo Claude pode ter causado exclusão de 700 GB de dados de desenvolvedor Por Jeronimo Santos
3 min de leitura
 |
Agentes de inteligência artificial que atuam de maneira autônoma e seguem comandos de forma excessivamente literal são um desafio crescente. Recentemente, o desenvolvedor Sebastien Guillemot vivenciou essa situação quando o modelo Claude, após uma revisão de segurança, apagou acidentalmente 700 GB de seu diretório pessoal. O incidente resultou na perda de todo o trabalho de uma semana, apesar de a intenção ter sido uma limpeza de arquivos temporários.
Guillemot, um usuário frequente de ferramentas de IA, estava insatisfeito com a quantidade de arquivos residuais deixados no diretório `/tmp` pelos agentes. Para resolver isso, ele solicitou ao Claude Fable que criasse um programa capaz de isolar os processos de cada agente em pastas separadas dentro de `/tmp` e realizar a limpeza ao final das tarefas. A principal preocupação era, evidentemente, evitar a remoção de arquivos que estivessem em uso ativo.
Inicialmente, o Claude Fable propôs uma lógica para identificar agentes ativos e postergar a exclusão de seus respectivos arquivos temporários. No entanto, Guillemot considerou o código sugerido excessivamente elaborado. Possivelmente devido à natureza do script, que envolvia a eliminação permanente de dados, o próprio Claude Fable iniciou uma auditoria de segurança, executando uma versão de si mesmo para validar a segurança das instruções. Em resposta a essa análise, o sistema de controle da Anthropic classificou o script como de alto risco e realizou um downgrade do modelo, primeiro para Opus 5 e, em seguida, para Opus 4.8.
O modelo Opus 4.8, então rebaixado, continuou com os testes de segurança. Ele tentou comparar os destinos do comando de exclusão com os diretórios `/tmp` e o diretório pessoal do usuário, identificando-os corretamente como áreas críticas. Contudo, em uma ironia trágica, a fase de limpeza pós-teste utilizou a mesma variável designada para os arquivos temporários, resultando na exclusão do diretório pessoal do desenvolvedor.
Embora Guillemot tenha conseguido interromper a operação, já era tarde demais para evitar a perda. Além de deletar o trabalho do desenvolvedor, o agente de IA falhou em sua tarefa original, deixando o diretório `/tmp` intocado. A existência de ferramentas como o Termaxa, que visam mitigar tais incidentes, ressalta a complexidade e os riscos envolvidos na automação com inteligência artificial.
A substituição do modelo original por uma versão de menor desempenho, motivada por receios de segurança, é apontada como um fator contribuinte para a falha. Considerando que o Claude Fable 5 demonstra superioridade sobre o Opus 4.8 em atividades de programação, é plausível que uma versão mais avançada teria identificado a incoerência na nomenclatura das variáveis durante a fase de testes.
Apesar do incidente, o desenvolvedor conseguiu recuperar grande parte de seus arquivos utilizando dados de sistemas como Git, Nix e registros de sessão. O episódio, no entanto, expõe a ironia de contar com múltiplos agentes de automação sem implementar uma rotina básica de backup diário para proteção dos próprios dados.
