자율적으로 행동하고 지나치게 문자 그대로 명령을 따르는 인공 지능 에이전트는 점점 더 많은 과제를 안고 있습니다. 최근 개발자 Sebastien Guillemot는 보안 검토 후 모델 Claude가 실수로 자신의 홈 디렉토리 중 700GB를 삭제했을 때 이러한 상황을 경험했습니다. 이 사건으로 인해 임시 파일을 정리하려는 의도에도 불구하고 일주일 동안의 작업이 모두 손실되었습니다.
AI 도구를 자주 사용하는 Guillemot는 에이전트가 ‘/tmp’ 디렉터리에 남겨둔 잔여 파일의 양에 만족하지 않았습니다. 이 문제를 해결하기 위해 그는 Claude Fable에게 `/tmp` 내의 별도 폴더에 각 에이전트의 프로세스를 격리하고 작업이 끝나면 정리할 수 있는 프로그램을 만들도록 요청했습니다. 물론 주요 관심사는 활발하게 사용 중인 파일을 제거하지 않는 것이었습니다.
처음에 Claude Fable은 활성 에이전트를 식별하고 해당 임시 파일의 삭제를 연기하는 논리를 제안했습니다. 그러나 Guillemot는 제안된 코드가 지나치게 정교하다고 생각했습니다. 데이터를 영구적으로 삭제하는 스크립트의 특성으로 인해 Claude Fable 자신이 보안 감사를 시작하고 지침의 보안을 검증하기 위해 자신의 버전을 실행했습니다. 이 분석에 대응하여 Anthropic의 제어 시스템은 스크립트를 고위험으로 분류하고 모델을 처음에는 Opus 5로, 그 다음에는 Opus 4.8로 다운그레이드했습니다.
Opus 4.8 모델은 다운그레이드된 후 보안 테스트를 계속했습니다. 삭제 명령의 대상을 ‘/tmp’ 디렉터리 및 사용자의 홈 디렉터리와 비교하여 중요한 영역으로 올바르게 식별하려고 시도했습니다. 그러나 아이러니하게도 테스트 후 정리 단계에서는 임시 파일에 지정된 것과 동일한 변수를 사용하여 개발자의 홈 디렉터리가 삭제되었습니다.
Guillemot는 작전을 중단했지만 손실을 피하기에는 너무 늦었습니다. 개발자의 작업을 삭제한 것 외에도 AI 에이전트는 원래 작업에 실패하여 ‘/tmp’ 디렉터리를 그대로 유지했습니다. 이러한 사고를 완화하는 것을 목표로 하는 Termaxa와 같은 도구의 존재는 인공 지능을 사용한 자동화와 관련된 복잡성과 위험을 강조합니다.
보안에 대한 우려로 인해 원래 모델을 더 낮은 성능 버전으로 교체한 것이 실패의 원인으로 강조됩니다. Claude Fable 5가 프로그래밍 활동에서 Opus 4.8보다 우수하다는 점을 고려하면, 더 발전된 버전이 테스트 단계에서 변수 이름 지정의 불일치를 식별했을 가능성이 높습니다.
사고에도 불구하고 개발자는 Git, Nix 및 세션 로그와 같은 시스템의 데이터를 사용하여 파일의 상당 부분을 복구했습니다. 그러나 이 에피소드는 데이터 자체를 보호하기 위한 기본적인 일일 백업 루틴을 구현하지 않고 여러 자동화 에이전트에 의존하는 아이러니를 드러냅니다.
