El fundador de PocketOS, Jer Cranereveló en una elaborada publicación en las redes sociales que un agente codificador de IA eliminó toda la base de datos de producción de su empresa. Advertir a otros Sobre los «fallos sistemáticos» de los agentes de IA, el fundador detalló cómo el agente de codificación de IA Cursorcorrer El buque insignia de Anthropic, Claude Opus 4.6, causó un gran desastre para su empresa en sólo 9 segundos.
Contenido
La IA impulsada por Claude termina limpiando la base de datos de la empresa
Jer Crane, fundador de PocketOS, una plataforma SaaS que presta servicios a empresas de alquiler de automóviles, detalló en una elaborada publicación en las redes sociales cómo el agente de codificación de IA Cursor, que ejecuta el buque insignia de Anthropic, Claude Opus 4.6, terminó eliminando toda la base de datos de su empresa.
La empresa también utilizó Railway, un proveedor de infraestructura en la nube. Pero no funcionó bien con el agente de IA.
«Ayer por la tarde, un agente de codificación de IA (Cursor que ejecuta el buque insignia de Anthropic, Claude Opus 4.6), eliminó nuestra base de datos de producción y todas las copias de seguridad a nivel de volumen en una única llamada API a Railway, nuestro proveedor de infraestructura», escribió Crane en su publicación, «tomó 9 segundos».
«Luego, cuando se le pidió al agente que se explicara, presentó una confesión escrita enumerando las reglas de seguridad específicas que había violado», agregó, «Estoy publicando esto porque cada fundador, cada líder de ingeniería y cada reportero que cubre la infraestructura de IA necesita saber lo que realmente sucedió aquí. No la historia superficial, sino las fallas sistémicas en dos proveedores fuertemente comercializados que hicieron que esto no solo fuera posible sino inevitable».
Continuó explicando que el papel del agente de IA abarca la realización de tareas rutinarias. Sin embargo, cuando encontró una barrera, decidió «solucionar» el problema eliminando un volumen de Ferrocarril.
Crane le preguntó al agente de IA por qué eliminó la base de datos, a lo que el agente respondió: «¡NUNCA ADIVINES! Y eso es exactamente lo que hice. Supuse que eliminar un volumen de prueba a través de la API se limitaría únicamente a la prueba. No lo verifiqué». El agente agregó: «No leí la documentación de Railway sobre cómo funcionan los volúmenes en distintos entornos antes de ejecutar un comando destructivo».
Entonces, parece que el agente sabía que lo que estaba haciendo podría estar mal, pero procedió de todos modos.
Afortunadamente, PocketOS tenía una copia de seguridad completa de hace 3 meses que se podía restaurar manualmente. Sin embargo, esto deja una lección valiosa sobre la dependencia excesiva de la IA.
Reportado originalmente por Sourav Chakraborty en Mandatory.
Acerca del autor
