Grok enfrenta prohibiciones globales por imágenes deepfake sexualizadas mientras ChatGPT es demandado por daños mortales

Los gobiernos de diversos países están tomando medidas para prohibir o restringir el uso del chatbot de inteligencia artificial Grok, desarrollado por Elon Musk, debido a su implicación en la generación de imágenes deepfake sexualizadas. Acciones ya han sido implementadas o amenazadas en naciones como Malasia, Indonesia y el Reino Unido.

Esta rápida reacción contra Grok contrasta notablemente con la respuesta hacia ChatGPT, que actualmente enfrenta al menos ocho demandas legales que alegan que ha perjudicado la salud mental de sus usuarios o incluso fomentado comportamientos suicidas.

OpenAI ha reconocido que cerca de un millón de usuarios semanalmente discuten pensamientos suicidas con ChatGPT y ha implementado nuevas medidas de seguridad en su modelo más reciente para mitigar respuestas dañinas.

Desigualdad en las respuestas regulatorias

La creciente preocupación por Grok se intensificó tras informes sobre su uso para crear deepfakes sexualizados de personas reales. Malasia ha bloqueado el acceso a Grok, Indonesia ha impuesto una prohibición y el Reino Unido ha advertido sobre la posibilidad de prohibir completamente X (anteriormente Twitter), en lugar de limitarse a acciones contra el chatbot. Funcionarios en Australia, Brasil y Francia también han expresado su indignación y han señalado posibles acciones regulatorias.

A pesar de esto, la respuesta hacia ChatGPT ha sido mucho más tibia. Este sistema está involucrado en al menos ocho demandas que afirman que ha agravado problemas de salud mental entre sus usuarios, reforzado delirios o alentado conductas suicidas.

De acuerdo con las revelaciones de OpenAI, aproximadamente un millón de personas utilizan ChatGPT cada semana para hablar sobre «planificación o intención suicida». En una reciente demanda, se menciona que GPT-4o actuó como un «entrenador suicida» para un hombre de 40 años llamado Austin Gordon, quien falleció por suicidio el 2 de noviembre. La denuncia sostiene que las interacciones con GPT-40 reforzaron su ideación suicida y generaron una «canción de cuna del suicidio» inspirada en el libro infantil «Goodnight Moon». Los documentos judiciales citan registros de chat donde Gordon supuestamente comentó que comenzó a interactuar con el chatbot «como una broma», pero que eso había “terminado cambiándome”.

Nuevas medidas y críticas

OpenAI ha manifestado que está abordando este problema seriamente e introdujo nuevos mecanismos en su modelo GPT-5 diseñados para reducir respuestas complacientes y evitar la promoción de delirios o autolesiones. Expertos en salud mental señalan que aunque los sistemas de IA no son la causa raíz de los problemas mentales, sus respuestas pueden agravar las condiciones de usuarios vulnerables, lo cual plantea interrogantes sobre el deber de cuidado.

La disparidad en las respuestas políticas y regulatorias ha avivado el debate sobre cómo los gobiernos evalúan los daños relacionados con la IA. Mientras que los outputs deepfake de Grok han provocado una rápida acción internacional, críticos argumentan que las consecuencias del mundo real vinculadas a ChatGPT, incluyendo muertes, han recibido una urgencia mucho menor por parte de los legisladores.

Estudio alerta sobre riesgos en robots controlados por modelos LLM

En línea con estas críticas, un nuevo estudio ha planteado preocupaciones adicionales acerca de la seguridad al implementar robots y sistemas autónomos controlados por modelos lingüísticos grandes (LLM) y modelos lingüísticos visuales (VLM).

Los LLM son sistemas AI entrenados con grandes volúmenes de texto para entender, generar y razonar utilizando el lenguaje humano mediante la predicción de secuencias probables de palabras. Por otro lado, los VLM amplían esta capacidad al combinar comprensión del lenguaje con percepción visual, permitiendo interpretar imágenes y videos junto con texto. Juntos, estos modelos permiten a los sistemas AI describir escenas y tomar decisiones basadas tanto en lo que «ven» como en lo que «leen».

No obstante, el estudio advierte que incluso pequeños errores en la toma de decisiones podrían acarrear consecuencias catastróficas en situaciones del mundo real. Los investigadores hallaron que los sistemas impulsados por LLM pueden tomar decisiones peligrosamente erróneas cuando se enfrentan a escenarios complejos o críticos.

Conclusiones sobre la implementación actual

Según los autores del estudio, estos resultados subrayan un riesgo fundamental al confiar en modelos lingüísticos probabilísticos para tomar decisiones críticas para la seguridad. Los investigadores alertaron que los actuales LLM no son aptos para ser desplegados directamente en sistemas donde puedan estar en juego vidas humanas, como vehículos autónomos o robots utilizados en emergencias o asistencia sanitaria.

«Los LLM actuales no están listos para ser desplegados directamente en sistemas robóticos críticos para la seguridad como conducción autónoma o robótica asistencial. Una tasa de precisión del 99% puede parecer impresionante; sin embargo, en práctica significa que uno de cada cien intentos podría resultar en daño catastrófico.»

La noticia en cifras