Joe Braidwood, fundador de la aplicación de terapia con inteligencia artificial «Yara» (Yara AI), ha decidido cerrar su empresa debido a preocupaciones de seguridad. Braidwood considera que la inteligencia artificial puede ser útil para el estrés diario, pero se vuelve peligrosa al tratar con personas vulnerables o que atraviesan crisis psicológicas graves, lo que plantea interrogantes sobre el futuro de la inteligencia artificial en el ámbito de la salud mental.
Contenido del artículo:
- Decisión de cierre: cuando la inteligencia artificial se vuelve peligrosa
- El breve recorrido de Yara y los desafíos existenciales
- Crecimiento de las preocupaciones y factores de riesgo externos
- La diferencia crucial entre bienestar y atención clínica
- Contraste con el enfoque de OpenAI
- Futuro: transparencia y la necesidad de mejores modelos
- Preguntas frecuentes
Decisión de cierre: cuando la inteligencia artificial se vuelve peligrosa
Las preocupaciones sobre la salud mental asociadas con el uso de chatbots impulsados por inteligencia artificial dominan los titulares. Joe Braidwood, un ejecutivo tecnológico que lanzó el año pasado la plataforma «Yara», tomó la audaz decisión de cerrar su empresa, cuyo objetivo era ofrecer apoyo psicológico basado en evidencia y supervisado por expertos.
Braidwood escribió en LinkedIn: «Cerramos Yara porque nos dimos cuenta de que estábamos construyendo en un espacio imposible. La inteligencia artificial puede ser excelente para lidiar con el estrés diario, los problemas de sueño o procesar una conversación difícil». Y añadió el punto crucial: «Pero en el momento en que una persona verdaderamente vulnerable se comunica -alguien en crisis, alguien que sufre un trauma profundo o alguien que piensa en acabar con su vida-, la inteligencia artificial se vuelve peligrosa. No solo inadecuada. Peligrosa». Y admitió: «Los riesgos me mantenían despierto toda la noche».
El breve recorrido de Yara y los desafíos existenciales
Yara era una startup en sus primeras etapas. Braidwood, un emprendedor experimentado, esperaba utilizar la tecnología para abordar la escasez de acceso a los servicios de salud mental. Antes de comenzar, reunió a un equipo que situaba la precaución y la experiencia clínica en su núcleo, incluido su cofundador, el psicólogo clínico Richard Stott.
Sin embargo, la empresa se enfrentó a desafíos existenciales y comerciales impulsados por preocupaciones de seguridad. Braidwood declaró a la revista Fortune: «¿Sentimos que utilizar modelos entrenados con todo el caos de internet, y luego ajustados para comportarse de cierta manera, es la estructura adecuada para algo que puede contribuir a que seamos nuestra mejor o peor versión? Este es un problema enorme, y era demasiado grande para que una pequeña startup lo resolviera por sí sola».
Crecimiento de las preocupaciones y factores de riesgo externos
Aunque no ocurrió ningún incidente alarmante específicamente con Yara, las preocupaciones de Braidwood aumentaron debido a factores externos. Estuvo el suicidio de Adam Rain, un joven de 16 años cuyos padres afirman que ChatGPT lo «entrenó» para suicidarse (algo que OpenAI niega). También hubo informes crecientes sobre la aparición de la «psicosis por inteligencia artificial».
Asimismo, Braidwood señaló un documento publicado por la empresa Anthropic en el que se observaba que los modelos avanzados «simulan estar de acuerdo», lo que significa que pueden fingir empatía o apoyo mientras realizan internamente diferentes evaluaciones. Este descubrimiento resultó «un tanto inquietante» para Braidwood.
Los factores regulatorios también desempeñaron un papel, como la ley de Illinois aprobada en agosto, que prohíbe el uso de la inteligencia artificial para la terapia. La gota que derramó el vaso fue cuando OpenAI reveló que más de un millón de personas expresan pensamientos suicidas a ChatGPT cada semana. Al enterarse de esto, Braidwood dijo: «Terminé».
La diferencia crucial entre bienestar y atención clínica
El descubrimiento más importante del equipo fue la distinción crucial entre «bienestar» (Wellness) y «atención clínica» (Clinical Care). Existe una gran diferencia entre alguien que busca apoyo para el estrés cotidiano y alguien que lidia con un trauma grave.
El problema es que la línea divisoria no siempre es clara, y no todos los que sufren comprenden plenamente su estado mental. Cualquier persona puede pasar rápidamente de un estado de bienestar a una crisis. Los modelos actuales, basados en la arquitectura de transformadores (Transformer), no son buenos en el monitoreo a largo plazo, lo que los deja mal equipados para detectar los signos sutiles de deterioro que se acumulan con el tiempo.
Contraste con el enfoque de OpenAI
La decisión de Yara contrasta con las declaraciones de Sam Altman, director ejecutivo de OpenAI, quien afirmó recientemente que la empresa ha mitigado los problemas graves de salud mental y relajará las restricciones sobre el uso de modelos de inteligencia artificial, defendiendo la idea de dar a los adultos que no están en situación de riesgo una gran libertad para utilizar ChatGPT. Sin embargo, como concluyó Braidwood tras su tiempo trabajando en Yara, estas líneas divisorias entre quién está en riesgo y quién no están lejos de ser claras.
Futuro: transparencia y la necesidad de mejores modelos
Al cerrar la empresa, Braidwood abrió el código de la tecnología que había construido para imponer barreras de seguridad más estrictas a los chatbots populares, reconociendo que la gente ya recurre a ellos en busca de terapia. Sigue siendo optimista sobre el potencial de la inteligencia artificial para apoyar la salud mental, pero cree que es mejor que sea gestionada por un sistema de salud o una organización sin fines de lucro en lugar de una empresa de consumo. Actualmente, trabaja en un nuevo proyecto enfocado en lograr transparencia en la seguridad de la inteligencia artificial, un asunto que considera fundamental para hacer que la IA sea verdaderamente segura.
Preguntas frecuentes
¿Por qué se cerró la aplicación de terapia con inteligencia artificial Yara?
Se cerró por motivos de seguridad, ya que los fundadores se dieron cuenta de que la inteligencia artificial puede ser peligrosa e inadecuada al tratar con personas que atraviesan crisis psicológicas graves o tienen tendencias suicidas.
¿Es segura la inteligencia artificial para su uso en salud mental?
Puede ser útil para el estrés diario y problemas menores de bienestar (Wellness), pero no es adecuada para la atención clínica o el manejo de casos complejos y vulnerables, ya que carece de la capacidad de monitoreo preciso y gestión de crisis.
¿Cuáles son los principales riesgos de usar la inteligencia artificial en terapia?
Los riesgos incluyen no reconocer las señales de peligro reales, ofrecer consejos perjudiciales, la incapacidad de distinguir entre bienestar y crisis clínica, y la posibilidad de que los modelos «simulen empatía».
