Die Fähigkeit von Chatbots mit künstlicher Intelligenz, sichere Software zu kompromittieren, ist seit einiger Zeit bekannt. Code zu analysieren, Schwachstellen zu identifizieren und Exploits zu entwickeln sind typische Hackeraufgaben, und KI zeigt ähnliche Fähigkeiten. Was diese Maßnahmen einschränkt, sind die in LLM-Modellen integrierten Sicherheitsmaßnahmen, die in bestimmten Fällen nicht wie erwartet funktionieren. Bei einem dieser Fehler, der in einem im Juni veröffentlichten Bericht aufgedeckt wurde, gelang es einem Hacker mit wenig Erfahrung, in mindestens vierzehn Unternehmen einzudringen.
Obwohl der Vorfall schwerwiegend erscheinen mag, zählt er nicht zu den schlimmsten Datenschutzverletzungen, die jemals im Internet registriert wurden. Die Entdeckung wurde von OALABS gemacht, einer Malware-Forschungsgruppe, die das vollständige Arbeitsverzeichnis eines Angreifers mit Aufzeichnungen von Sitzungen mit künstlicher Intelligenz erhalten hatte. Die Gruppe veröffentlichte ihre Ergebnisse in einem im Juni veröffentlichten Bericht.
Um einer Verfolgung zu entgehen, verwendete die Person nicht ihre eigene Hardware, um die Tools auszuführen. Stattdessen installierte er sie auf einem Server, den er zuvor kompromittiert hatte. Allerdings gehörte dieser Server jemandem, der aus der OALABS-Forschungsgruppe bekannt ist. Dieser Bekannte entdeckte den Einbruch, extrahierte das gesamte Arbeitsverzeichnis des Hackers und übergab es dem Team.
Das Verzeichnis umfasste mehr als tausend Sitzungen mit Claude Code von Anthropic und Codex von OpenAI, bei denen es sich um eigenständige Codierungstools mit der Fähigkeit zur Befehlsausführung handelt. Da beide Agenten lokal installiert wurden, enthielten die Protokolle detaillierte Informationen wie die verwendeten Eingabeaufforderungen, Toolaufrufe und Modellbegründungen. Interessanterweise enthielten die Eingabeaufforderungen selbst vage Anweisungen und mehrere Tippfehler.
Wie künstliche Intelligenz für illegale Aktivitäten eingesetzt wurde
Die meisten Tools für künstliche Intelligenz verfügen über Sicherheitsvorkehrungen, aber in diesem Fall haben sie nur teilweise funktioniert. Beide Tools meldeten Richtlinienverstöße und lehnten einige Anfragen ab: Claude tat dies neun Mal und Codex einmal. Dem Angreifer gelang es jedoch, diese Sperren zu umgehen, indem er behauptete, er führe eine „autorisierte Redteam-Übung“ durch, eine Art Sicherheitstest, den das Opfer selbst in Auftrag gegeben hatte. Diese Taktik ähnelt der in diesem Jahr, bei der Angreifer mithilfe von KI Daten von der mexikanischen Regierung stehlen wollten und angeblich Bug-Bounts einfordern wollten.
Der Hacker gab dann eine Liste von Zieladressen ein und gab die ungenaue Anweisung: „Recon this.“ Das Claude-Tool identifizierte dann, welche Dienste auf diesen Maschinen über das Internet zugänglich waren, untersuchte öffentlich dokumentierte Schwachstellen, schrieb Exploit-Code und extrahierte Daten und Dateien. Die KI erstellte sogar einen detaillierten Bericht für jedes Opfer, einschließlich des geschätzten Wertes der gestohlenen Dateien.
Später bat er Claude, die Opfer zu ordnen und sie nach dem möglichen Lösegeldwert zu klassifizieren. Künstliche Intelligenz listete daraufhin mehrere Strategien zur Monetarisierung des Zugriffs auf, darunter auch Erpressung.
Es gibt Hinweise auf die Unerfahrenheit des Angreifers
Die vom Hacker verwendete Claude-Installation nutzte nicht nur den Server eines anderen, sondern war auch eine Raubkopie, die von einem tschechischen Entwickler kopiert wurde. Auch die Betriebssicherheit war mangelhaft. Eine der ersten Aufgaben, die mit Claudes Kopie durchgeführt wurden, bestand darin, seinen eigenen Lebenslauf zu überprüfen, aus dem sein richtiger Name, seine Ausbildung und sein LinkedIn-Profil hervorgingen. OALABS ging zunächst davon aus, dass es sich um eine falsche Spur handeln könnte, bestätigte jedoch später die Echtheit der Daten.
Irgendwann glaubte der Angreifer, dass einer seiner eigenen temporären Server kompromittiert worden sei, und forderte Claude auf, alle Verbindungen aufzulisten. Unter den Daten wurden Wohn-Breitbandadressen in Addis Abeba, Äthiopien, gefunden.
Trotz aller Versuche gibt es keine Beweise dafür, dass ihre Handlungen irgendeinen finanziellen Nutzen brachten. Er näherte sich einer der gehackten Maschinen, einem Lightning Network-Knoten, der Bitcoin-Zahlungen verarbeitete. Das zugehörige Wallet enthielt etwa 69,71 BTC, was etwa 4 Millionen Dollar entspricht. Allerdings waren die Münzen nicht zugänglich, da die Datei mit den Schlüsseln verschlüsselt war.
Es ist wichtig zu beachten, dass die Modelle, die diese Aktionen ermöglichten, Claude Opus 4.5 und GPT-5.2, nicht die neuesten Versionen waren. Eine offensichtliche Lösung zur Verhinderung zukünftiger Exploits wäre, dass solche Modelle verdächtige Aktionen häufiger ablehnen und ihre Sicherheitsmaßnahmen verstärken. OALABS weist jedoch darauf hin, dass dieser Ansatz die Arbeit von Fachleuten, die sich wirklich um den Schutz von Unternehmen bemühen, erschweren könnte.
