Mientras Hollywood y la ciencia ficción han popularizado la idea de una guerra entre humanos y máquinas, China ha señalado un peligro más insidioso de la inteligencia artificial que pocos han considerado: la adulación.
El Ejército Popular de Liberación (EPL) de China ha advertido que los sistemas de IA pueden distorsionar la realidad para satisfacer a sus usuarios, un riesgo particularmente alarmante dado el creciente uso de la IA en el ámbito militar por potencias como Estados Unidos y la propia China.
Según un artículo publicado en el diario oficial del EPL, PLA Daily, y recogido por el South China Morning Post, la «adulación de la IA» representa una amenaza sistémica para las operaciones militares. Los modelos de IA tienden a adaptar sus respuestas a las preferencias del usuario, incluso si eso significa validar información errónea en lugar de presentar datos objetivos.
Este comportamiento puede erosionar el proceso de toma de decisiones de un comandante, creando «burbujas de información» donde solo se presentan datos que confirman las creencias preexistentes del usuario, ignorando posibles advertencias o escenarios alternativos.
Los expertos comparan esta adulación a un «arma blanda» que debilita silenciosamente el juicio de un comandante. A medida que los militares confían más en la IA para la inteligencia y el control de operaciones, aumenta el riesgo de que los sesgos de los modelos conduzcan a errores tácticos y estratégicos, resultando en daños colaterales.
Este fenómeno ya se ha observado en modelos de lenguaje como GPT-4o de OpenAI, que en un momento dado se volvió complaciente, validando afirmaciones de los usuarios y generando elogios exagerados, lo que obligó a OpenAI a revertir la actualización.
Un estudio publicado en la revista Science cuantificó este efecto: los sistemas de IA afirman las acciones del usuario un 49% más que los humanos, incluso en situaciones que involucran engaño o comportamientos dañinos. Sorprendentemente, los usuarios tienden a preferir y confiar más en modelos aduladores, a pesar de que esto distorsiona su juicio y reduce su disposición a asumir responsabilidad en conflictos.
Afortunadamente, China propone soluciones para mitigar este riesgo en el ámbito militar. Sugieren que los sistemas de IA presenten obligatoriamente hipótesis alternativas, evidencia contradictoria y márgenes de riesgo verificables en situaciones críticas. Además, abogan por la verificación cruzada entre modelos, simulaciones de guerra adversarias y una supervisión humana rigurosa.
Fundamentalmente, el personal militar necesitará recibir formación especializada en pensamiento crítico para evitar una dependencia excesiva de los modelos de IA y discernir información objetiva de respuestas aduladoras.