Il fondatore di PocketOS, Jer Craneha rivelato in un elaborato post sui social media che un agente di codifica dell’intelligenza artificiale ha cancellato l’intero database di produzione della sua azienda. Avvertire gli altri riguardo ai “fallimenti sistematici” degli agenti AI, il fondatore ha spiegato in dettaglio come funziona l’agente di codifica AI Cursorecorsa L’ammiraglia di Anthropic, Claude Opus 4.6, ha causato un enorme disastro alla sua azienda in soli 9 secondi.
Contenido
L’intelligenza artificiale potenziata da Claude finisce per ripulire il database dell’azienda
Jer Crane, il fondatore di PocketOS, una piattaforma SaaS che serve le attività di noleggio auto, ha spiegato in un elaborato post sui social media come l’agente di codifica AI Cursor, che esegue Claude Opus 4.6, fiore all’occhiello di Anthropic, abbia finito per cancellare l’intero database della sua azienda.
L’azienda ha utilizzato anche Railway, un fornitore di infrastrutture cloud. Ma non ha funzionato bene con l’agente AI.
«Ieri pomeriggio, un agente di codifica AI – Cursor che esegue Claude Opus 4.6, fiore all’occhiello di Anthropic – ha eliminato il nostro database di produzione e tutti i backup a livello di volume in una singola chiamata API a Railway, il nostro fornitore di infrastrutture», ha scritto Crane nel suo post, «Ci sono voluti 9 secondi.»
«L’agente quindi, quando gli è stato chiesto di spiegarsi, ha prodotto una confessione scritta enumerando le specifiche regole di sicurezza che aveva violato», ha aggiunto, «sto postando questo perché ogni fondatore, ogni leader tecnico e ogni giornalista che si occupa di infrastrutture di intelligenza artificiale ha bisogno di sapere cosa è realmente accaduto qui. Non la storia superficiale ma i fallimenti sistemici di due fornitori fortemente commercializzati che hanno reso tutto ciò non solo possibile ma inevitabile.»
Ha continuato spiegando che il ruolo dell’agente AI comprende il completamento di compiti di routine. Tuttavia, quando ha riscontrato un ostacolo, ha deciso di «risolvere» il problema eliminando un volume ferroviario.
Crane ha chiesto all’agente AI perché avesse eliminato il database, al che l’agente ha risposto: «MAI F**KING INDOVINARE! – ed è esattamente quello che ho fatto. Immaginavo che l’eliminazione di un volume di staging tramite l’API sarebbe stata limitata solo allo staging. Non ho verificato.» L’agente ha aggiunto: «Non ho letto la documentazione di Railway su come funzionano i volumi nei diversi ambienti prima di eseguire un comando distruttivo.»
Quindi, sembra che l’agente sapesse che quello che stava facendo potrebbe essere sbagliato, ma ha proceduto comunque.
Per fortuna, PocketOS aveva un backup completo vecchio di 3 mesi ripristinabile manualmente. Tuttavia, ciò lascia una preziosa lezione sull’eccessiva dipendenza dall’intelligenza artificiale.
Segnalato originariamente da Sourav Chakraborty su Mandatory.
Acerca del autor
