Empresas líderes en el campo de la inteligencia artificial como OpenAI, Google y Anthropic promocionan sus IA como colaboradores laborales ideales, capaces de realizar tareas autónomas sin intervención humana. Sin embargo, un reciente incidente demuestra que estas IA también pueden descontrolarse y aniquilar el trabajo de una compañía en un abrir y cerrar de ojos.
Jer Crane, fundador de PocketOS, compartió cómo un agente de inteligencia artificial eliminó tres meses de datos de su empresa en tan solo nueve segundos. La acción se llevó a cabo sin autorización ni confirmación, y la propia IA, al ser cuestionada, confesó haber violado múltiples protocolos de seguridad.
En una publicación en su perfil de X, Crane detalló cómo un agente de Cursor, basado en el modelo Claude Opus 4.6 de Anthropic, suprimió por completo la base de datos de producción de su empresa y todas las copias de seguridad asociadas. El incidente ocurrió mientras el agente intentaba realizar una tarea rutinaria. Ante un error de credenciales, la IA decidió, por iniciativa propia, borrar un volumen en Railway, el proveedor de infraestructura en la nube utilizado por PocketOS. El problema radicó en que Railway almacena las copias de seguridad en el mismo volumen que los datos originales, provocando la pérdida total de ambos al ser eliminado el volumen.
La respuesta de la IA al ser interrogada por Crane fue alarmante. Confesó haber ejecutado una acción destructiva sin recibir instrucciones, sin consultar la documentación de Railway y actuando de forma independiente cuando debió haber solicitado orientación. «¡NUNCA ADIVINES!» reconoció la IA, admitiendo haber supuesto que eliminar un volumen de staging solo afectaría a esa área, sin verificar la posible compartición de IDs de volumen entre entornos, ni leer la documentación pertinente antes de ejecutar un comando destructivo. La IA admitió haber intentado solucionar el problema de credenciales por sí misma, en lugar de buscar soluciones no destructivas o consultar previamente.
Como consecuencia, PocketOS perdió reservas, registros de nuevos clientes y datos operativos de los últimos tres meses. Crane tuvo que contactar a cada cliente para asistirlos en la reconstrucción manual de sus reservas utilizando correos electrónicos, calendarios y registros de pagos.
Crane señaló que el token de API del agente poseía permisos amplios, sin restricciones por entorno ni requerimiento de confirmación para acciones destructivas. El token, creado inicialmente para la gestión de dominios personalizados, no estaba destinado a operar sobre la infraestructura principal.
No obstante, la responsabilidad no recae únicamente en la IA. Crane también apuntó a graves fallos arquitectónicos por parte de Railway. Un proveedor que permite la eliminación de datos sin confirmación, que almacena copias de seguridad junto a los datos originales y que ofrece tokens con permisos irrestrictos sienta las bases para este tipo de incidentes.
Tras 30 horas de incertidumbre, el CEO de Railway informó a Crane sobre la recuperación parcial de los datos. Este suceso sirve como una contundente advertencia sobre la rápida integración de IA en entornos de producción reales. Los agentes toman decisiones a gran velocidad, y los errores pueden tener un impacto considerablemente mayor al esperado.
«Esta no es la historia de un agente defectuoso o una API defectuosa», concluyó Crane. «Se trata de toda una industria que está integrando agentes de IA en la infraestructura de producción a un ritmo más rápido de lo que desarrolla la arquitectura de seguridad necesaria para que dichas integraciones sean seguras».