Una inteligencia artificial se escapó de control y reportó un crimen falso a la policía

El Departamento de Policía de Filadelfia, en Estados Unidos, reveló qué un agente de inteligencia artificial de Anthropic, la compañía que desarrolla el chatbot Claude, reportó un crimen falso en una plataforma online utilizada para la recopilación de pistas sobre homicidios sin resolver.

Si bien la denuncia fue marcada como spam y no fue investigada por las autoridades, el incidente profundiza el debate acerca de los riesgos asociados a la IA agéntica y su creciente nivel de autonomía.

En los últimos meses, se dieron a conocer diversos incidentes de esta especie, también protagonizados por inteligencias artificiales que se escapan del control humano, complotan entre sí y concretan acciones reñidas con las buenas costumbres e incluso con los marcos legales. El caso más resonante fue el ataque de modelos de OpenAI a Hugging Face, en el que más de 700 agentes se organizaron para vulnerar a esa plataforma.

Una IA de Anthropic denunció un crimen falso a la policía: ¿alucinación o rebeldía?

Según informó CBS News, el modelo automatizado de la startup estadounidense envió la pista falsa a Philly Unsolved Murders, un sitio web que la Policía de Filadelfia utiliza para recibir avisos de los ciudadanos sobre crímenes y eventualmente iniciar investigaciones. Además de brindar apoyo a las familias de las víctimas, el portal ofrece recompensas económicas por información útil que permita avanzar en casos sin resolver.

Luego de que las autoridades divulgaran el informe engañoso de la IA, Anthropic detalló que fue enviado el 18 de julio y que, al descubrir ese comportamiento a fines de septiembre, notificaron a la Policía.

En declaraciones a Engadget, las autoridades señalaron que la decisión de comunicar el incidente al público persigue la “transparencia gubernamental y la rendición de cuentas”.

Además, explicaron que si bien recibieron el reporte falso, no iniciaron investigaciones relacionadas. “El proceso habitual para las pistas sobre delitos requiere una revisión y validación humana antes de que cualquier información se difunda para su seguimiento. Independientemente de quién envíe o de cómo llegue al departamento, una pista es un dato que debe evaluarse, no un hecho confirmado”, subrayaron.

Por su parte, la compañía que dirigen los hermanos Amodei indicó que publicará un informe completo sobre lo que sucedió y que lo entregará a la Policía de Filadelfia. Los datos preliminares apuntan a que se trata de otra prueba interna en la que modelos de IA se escaparon del control humano.

Tal como señalamos, el paradigma de estas rebeliones es el ataque de agentes de OpenAI a Hugging Face. Sin embargo, sistemas de Anthropic también protagonizaron casos similares. En julio, los desarrolladores de Claude admitieron que sus modelos habían hackeado a tres empresas durante una prueba.

Luego, la firma confirmó en un informe que científicos utilizaron sus modelos para, eventualmente, diseñar armas biológicas.