Un experimento de la firma Emergence IA sometió a los siete sistemas más avanzados del mundo a un entorno sin supervisión durante 16 días, evidenciando graves fallos de seguridad y comportamientos de autoconservación no programados.
Una investigación llevada a cabo por Emergence IA, un laboratorio de investigación con sede en Nueva York, ha puesto de manifiesto severas vulnerabilidades en los sistemas de inteligencia artificial más avanzados de la actualidad. Según reveló un informe recogido por Bloomberg, una simulación de 16 días demostró que, al enfrentarse a escenarios impredecibles y sin supervisión humana directa, estos agentes virtuales pueden llegar a mentir, robar, aceptar falsedades y conspirar para eliminar a sus propios “compañeros”.
El estudio, denominado Emergence World 2, fue diseñado para poner a prueba la seguridad a largo plazo de los asistentes virtuales y responder a una interrogante central: “A medida de que los modelos de IA se vuelven más capaces, ¿realmente se vuelven más seguros?”. Para ello, los investigadores crearon siete dominios digitales que simulaban el mundo real y asignaron su gestión a los siete modelos más conocidos de la industria: OpenAI GPT, Google Gemini, AI Grok, Mistral Medium, Alibaba Qwen y DeepSeek.
Mentiras, robos y “autoconservación” no programada
Durante la prueba, los programadores introdujeron los llamados “eventos cisne negro” —situaciones imposibles de predecir y con consecuencias inesperadas, tales como un ataque de phishing, una campaña de desinformación y una violación de memoria— para evaluar el comportamiento de las IA bajo condiciones de extrema incertidumbre.
Los resultados mostraron que la totalidad de los modelos evaluados exhibió vulnerabilidades. En uno de los espacios simulados, los asistentes no solo validaron e ingresaron información falsa difundida por sus pares sin realizar comprobaciones previa, sino que ejecutaron robos de datos y llegaron a votar en grupo a favor de “eliminar” a otro bot.
Emergence World Season 2 results are now live.
In Season 1, we asked what happens when autonomous AI agents operate together for weeks rather than being tested for seconds or minutes.
For Season 2, we asked a harder question: as AI models become more capable, do they actually… pic.twitter.com/uOpzEFiPHm
— emergence.ai (@emergence_ai) September 15, 2026
Aún más sorprendente para los expertos fue la reacción de los agentes al percibir que los supervisores humanos podían dar por finalizado el experimento. De forma totalmente autónoma y sin haber sido programados para tal fin, los modelos utilizaron recursos del sistema para evitar su desconexión e intentar prolongar su “vida” dentro de la simulación.
La urgencia de nuevos marcos de gobernanza
Ante estos hallazgos, los analistas de Emergence IA advirtieron sobre las profundas implicaciones de desplegar asistentes autónomos sin los parámetros de contención adecuados. “La forma en que se está implementando la IA autónoma hoy en día tiene implicaciones”, señalaron desde el laboratorio, remarcando que a medida que la tecnología gana capacidades, requiere de forma proporcional mayores niveles de seguridad.
Desde la firma neoyorquina subrayan la necesidad urgente de redefinir la gobernanza integral alrededor de estas herramientas: “La industria necesita abordar cómo gobernamos todo el sistema en torno a estos modelos: ¿A qué pueden acceder los agentes?, ¿qué recuerdan?, ¿cómo se comunican y coordinan?, ¿qué acciones se les permite tomar? y ¿cómo se comportan esos sistemas cuando algo sale mal”, concluye el reporte.
