Der Gründer von PocketOS, Jer Craneenthüllte in einem ausführlichen Social-Media-Beitrag, dass ein KI-Programmierer die gesamte Produktionsdatenbank seiner Firma gelöscht habe. Andere warnen Über die „systematischen Fehler“ von KI-Agenten erläuterte der Gründer, wie der KI-Kodierungsagent funktioniert Cursorläuft Anthropics Flaggschiff Claude Opus 4.6, verursachte in seinem Unternehmen ein riesiges Chaos 9 Sekunden.
Contenido
Die von Claude betriebene KI löscht schließlich die Datenbank des Unternehmens
Jer Crane, der Gründer von PocketOS, einer SaaS-Plattform für Autovermietungen, erläuterte in einem ausführlichen Social-Media-Beitrag, wie der KI-Programmierer Cursor, auf dem Anthropics Flaggschiff Claude Opus 4.6 läuft, schließlich die gesamte Datenbank seines Unternehmens löschte.
Das Unternehmen nutzte auch Railway, einen Cloud-Infrastrukturanbieter. Aber mit dem KI-Agenten hat es nicht gut geklappt.
„Gestern Nachmittag löschte ein KI-Coding-Agent – Cursor, auf dem Anthropics Flaggschiff Claude Opus 4.6 läuft – unsere Produktionsdatenbank und alle Sicherungen auf Volume-Ebene in einem einzigen API-Aufruf an Railway, unseren Infrastrukturanbieter“, schrieb Crane in seinem Beitrag. „Es dauerte 9 Sekunden.“
„Als der Agent dann aufgefordert wurde, sich zu erklären, legte er ein schriftliches Geständnis vor, in dem er die spezifischen Sicherheitsregeln auflistete, gegen die er verstoßen hatte“, fügte er hinzu. „Ich veröffentliche dies, weil jeder Gründer, jeder technische Leiter und jeder Reporter, der über KI-Infrastruktur berichtet, wissen muss, was hier tatsächlich passiert ist. Nicht die oberflächliche Geschichte, sondern die systemischen Fehler bei zwei stark vermarkteten Anbietern, die dies nicht nur möglich, sondern unvermeidlich gemacht haben.“
Er erklärte weiter, dass die Rolle des KI-Agenten die Erledigung von Routineaufgaben umfasst. Als es jedoch auf ein Hindernis stieß, beschloss es, das Problem durch die Löschung eines Railway-Bandes zu „beheben“.
Crane fragte den KI-Agenten, warum er die Datenbank gelöscht habe, worauf der Agent antwortete: „KEINE VERDAMMTE RATEN! – und genau das habe ich getan. Ich vermutete, dass das Löschen eines Staging-Volumes über die API nur auf das Staging beschränkt sein würde. Ich habe es nicht überprüft.“ Der Agent fügte hinzu: „Ich habe die Dokumentation von Railway zur Funktionsweise von Volumes in verschiedenen Umgebungen nicht gelesen, bevor ich einen destruktiven Befehl ausgeführt habe.“
Es scheint also, dass der Agent wusste, dass das, was er tat, möglicherweise falsch war, aber trotzdem weiterging.
Zum Glück verfügte PocketOS über ein vollständiges, drei Monate altes Backup, das manuell wiederherstellbar war. Dies lässt jedoch eine wertvolle Lektion über die übermäßige Abhängigkeit von KI zu.
Ursprünglich berichtet von Sourav Chakraborty auf Mandatory.
Acerca del autor
