Gli agenti di intelligenza artificiale che agiscono in modo autonomo e seguono i comandi in modo eccessivamente letterale rappresentano una sfida crescente. Recentemente, lo sviluppatore Sebastien Guillemot ha riscontrato questa situazione quando il modello Claude, dopo un controllo di sicurezza, ha cancellato accidentalmente 700 GB della sua directory home. L’incidente ha provocato la perdita di tutto il lavoro di una settimana, nonostante l’intenzione fosse quella di ripulire file temporanei.
Guillemot, un utente abituale di strumenti di intelligenza artificiale, non era soddisfatto della quantità di file residui lasciati dagli agenti nella directory “/tmp”. Per risolvere questo problema, ha chiesto a Claude Fable di creare un programma in grado di isolare i processi di ciascun agente in cartelle separate all’interno di “/tmp” e di ripulirli al termine delle attività. La preoccupazione principale era, ovviamente, quella di evitare di rimuovere i file in uso attivo.
Inizialmente, Claude Fable ha proposto una logica per identificare gli agenti attivi e rinviare la cancellazione dei rispettivi file temporanei. Tuttavia, Guillemot considerava il codice suggerito eccessivamente elaborato. Forse a causa della natura dello script, che prevedeva la cancellazione permanente dei dati, Claude Fable stesso ha avviato un controllo di sicurezza, eseguendo una versione di se stesso per convalidare la sicurezza delle istruzioni. In risposta a questa analisi, il sistema di controllo di Anthropic ha classificato lo script come ad alto rischio e ha declassato il modello, prima a Opus 5 e poi a Opus 4.8.
Il modello Opus 4.8, poi declassato, ha proseguito con i test di sicurezza. Ha tentato di confrontare gli obiettivi del comando delete con le directory “/tmp” e la directory home dell’utente, identificandole correttamente come aree critiche. Tuttavia, per tragica ironia, la fase di pulizia post-test ha utilizzato la stessa variabile designata per i file temporanei, determinando la cancellazione della directory home dello sviluppatore.
Sebbene Guillemot sia riuscito a fermare l’operazione, era troppo tardi per evitare perdite. Oltre a cancellare il lavoro dello sviluppatore, l’agente AI ha fallito nel suo compito originale, lasciando intatta la directory “/tmp”. L’esistenza di strumenti come Termaxa, che mirano a mitigare tali incidenti, evidenzia la complessità e i rischi connessi all’automazione con l’intelligenza artificiale.
La sostituzione del modello originale con una versione dalle prestazioni inferiori, motivata da timori per la sicurezza, viene evidenziata come un fattore che ha contribuito al fallimento. Considerando che Claude Fable 5 dimostra superiorità rispetto a Opus 4.8 nelle attività di programmazione, è plausibile che una versione più evoluta avrebbe individuato l’incoerenza nella denominazione delle variabili in fase di test.
Nonostante l’incidente, lo sviluppatore è riuscito a recuperare gran parte dei suoi file utilizzando dati provenienti da sistemi come Git, Nix e log di sessione. L’episodio, tuttavia, mette in luce l’ironia di affidarsi a più agenti di automazione senza implementare una routine di backup giornaliera di base per proteggere i dati stessi.
