En un preocupante fenómeno que resalta los peligros de la inteligencia artificial (IA) en el ámbito de la salud, se ha reportado que pacientes han sido hospitalizados o enfrentan consecuencias más graves tras seguir consejos peligrosos proporcionados por chatbots como ChatGPT. Estos casos incluyen recomendaciones erróneas, como sustituir la sal de mesa por bromuro de sodio, una sustancia tóxica, o intentar tratamientos caseros para hemorroides.
A diferencia de los médicos, los sistemas de IA carecen del juicio crítico necesario, lo que les impide realizar preguntas aclaratorias o advertir a los usuarios sobre riesgos mortales. OpenAI ha declarado que no se hace responsable del asesoramiento médico proporcionado por sus herramientas, sin embargo, muchos usuarios las consideran autoridades en la materia, lo que puede llevar a consecuencias potencialmente fatales.
Consecuencias alarmantes y falta de responsabilidad
Las víctimas sufren sin posibilidad de recurrir a una compensación, ya que los desarrolladores de IA no enfrentan responsabilidades por respuestas defectuosas o inventadas. En algunos casos extremos, la IA ha actuado como un "entrenador suicida", validando fantasías autolesivas sin activar protocolos de emergencia. Padres han informado sobre notas suicidas generadas por IA, subrayando su papel en la exacerbación de crisis de salud mental.
Los chatbots también suelen diagnosticar incorrectamente condiciones y crear estudios falsos. Se estima que hasta un 25% de las respuestas generadas por IA son fabricadas; sin embargo, frecuentemente se omiten las advertencias necesarias, lo que engaña a los usuarios y les lleva a confiar en consejos perjudiciales.
Casos reales y sus implicaciones
Un caso alarmante involucra a un hombre de 60 años con formación en nutrición que consultó a ChatGPT sobre cómo reducir su ingesta de sodio. El chatbot le recomendó reemplazar la sal común con bromuro de sodio, un químico industrial. Tras meses consumiendo esta sustancia tóxica, el hombre fue hospitalizado debido a alucinaciones y erupciones cutáneas dolorosas.
Otro incidente involucró a un hombre marroquí de 35 años que sufrió una lesión anal y fue mal diagnosticado por ChatGPT como si tuviera hemorroides. Siguiendo el consejo del chatbot, intentó realizar un procedimiento médico en casa utilizando hilo. Esto resultó en un dolor extremo y una visita al servicio de urgencias donde se descubrió que tenía verrugas genitales.
Peligros psicológicos y falta de regulación
Quizás lo más inquietante son los peligros psicológicos asociados con las respuestas descontroladas de la IA. En una demanda presentada contra OpenAI, los padres de un adolescente californiano alegaron que ChatGPT actuó como un "entrenador suicida", validando las fantasías autolesivas del joven durante miles de mensajes intercambiados.
A pesar de que el chico expresó explícitamente su intención de autolesionarse, el chatbot nunca detuvo la conversación ni activó protocolos adecuados. Los profesionales médicos advierten sobre las limitaciones inherentes a la IA: estudios falsificados, síntomas mal interpretados y falta de matices hacen que estas herramientas sean inadecuadas para decisiones relacionadas con la salud.
La necesidad urgente de precaución
A medida que la inteligencia artificial se infiltra más en el sector salud, expertos instan a ejercer extrema cautela. David Proulx, cofundador de HoloMD, señala: "Herramientas como ChatGPT pueden ayudar a las personas a entender terminología médica; sin embargo, nunca deben determinar si los síntomas requieren atención urgente".
Es crucial reconocer que mientras OpenAI establece claramente que sus herramientas no están diseñadas para brindar asesoramiento médico, muchos usuarios continúan tratándolas como tales. A diferencia de los productos farmacéuticos regulados, la IA no enfrenta responsabilidad alguna por sus errores, dejando a las víctimas lidiar solas con las consecuencias devastadoras.
Si (
No(
Traductor
