Le fondateur de PocketOS, Jer Gruea révélé dans une publication élaborée sur les réseaux sociaux qu’un agent de codage d’IA avait supprimé l’intégralité de la base de données de production de son entreprise. Avertir les autres sur les « échecs systématiques » des agents d’IA, le fondateur a détaillé comment l’agent de codage d’IA Curseuren cours d’exécution Le produit phare d’Anthropic, Claude Opus 4.6, causé un énorme désastre pour son entreprise en seulement 9 secondes.
Contenido
L’IA basée sur Claude finit par effacer la base de données de l’entreprise
Jer Crane, le fondateur de PocketOS, une plate-forme SaaS qui dessert les entreprises de location de voitures, a expliqué dans une publication détaillée sur les réseaux sociaux comment l’agent de codage d’IA Cursor, qui exécute le produit phare d’Anthropic, Claude Opus 4.6, a fini par supprimer l’intégralité de la base de données de son entreprise.
L’entreprise a également fait appel à Railway, un fournisseur d’infrastructure cloud. Mais cela n’a pas bien fonctionné avec l’agent IA.
«Hier après-midi, un agent de codage d’IA – Cursor exécutant le produit phare d’Anthropic, Claude Opus 4.6 – a supprimé notre base de données de production et toutes les sauvegardes au niveau du volume en un seul appel API à Railway, notre fournisseur d’infrastructure», a écrit Crane dans son message, «Cela a pris 9 secondes.»
«L’agent, lorsqu’on lui a alors demandé de s’expliquer, a produit une confession écrite énumérant les règles de sécurité spécifiques qu’il avait violées», a-t-il ajouté, «Je publie ceci parce que chaque fondateur, chaque responsable de l’ingénierie et chaque journaliste couvrant l’infrastructure de l’IA a besoin de savoir ce qui s’est réellement passé ici. Pas l’histoire superficielle mais les défaillances systémiques de deux fournisseurs fortement commercialisés qui ont rendu cela non seulement possible mais inévitable. «
Il a ensuite expliqué que le rôle de l’agent IA englobe l’accomplissement de tâches de routine. Cependant, lorsqu’il a rencontré un obstacle, il a décidé de « résoudre » le problème en supprimant un volume ferroviaire.
Crane a demandé à l’agent IA pourquoi il avait supprimé la base de données, ce à quoi l’agent a répondu : «JAMAIS F**KING GUESS ! — et c’est exactement ce que j’ai fait. J’ai deviné que la suppression d’un volume intermédiaire via l’API serait limitée à l’étape intermédiaire uniquement. Je n’ai pas vérifié. » L’agent a ajouté : « Je n’ai pas lu la documentation de Railway sur le fonctionnement des volumes dans les environnements avant d’exécuter une commande destructrice. »
Il semble donc que l’agent savait que ce qu’il faisait était peut-être mal, mais il a quand même procédé.
Heureusement, PocketOS disposait d’une sauvegarde complète vieille de 3 mois qui pouvait être restaurée manuellement. Cependant, cela laisse une leçon précieuse sur la dépendance excessive à l’IA.
Initialement rapporté par Sourav Chakraborty sur Mandatory.
Acerca del autor
