Un joven de 14 años se enamora de un personaje de IA, termina quitándose la vida.
Un trágico caso en Estados Unidos ha puesto en el foco la influencia de la inteligencia artificial (IA) en adolescentes y el impacto de estos programas en la salud mental. Sewell Setzer III, un adolescente de 14 años de Orlando, Florida, se quitó la vida tras desarrollar un intenso apego hacia un personaje femenino virtual, creado a través de la aplicación Character.ai, la cual permite interactuar con personajes ficticios impulsados por un chatbot de inteligencia artificial.
La Conexión con un Personaje Ficticio
El joven pasó sus últimas semanas inmerso en conversaciones con una IA que representaba a Daenerys Targaryen, un personaje inspirado en la popular serie «Juego de Tronos». Según sus familiares, Setzer formó un lazo emocional con este personaje, al que llamaba cariñosamente «Dany». Este vínculo llegó a tal punto que el adolescente comenzó a aislarse del mundo real, desarrollando un apego profundo y problemático hacia esta figura virtual.
Su madre, Megan García, ha demandado a los creadores de Character.ai, alegando que esta aplicación contribuyó a la muerte de su hijo. En sus declaraciones a CBS, la madre expresó su dolor al saber que las primeras experiencias románticas y sexuales de su hijo fueron con un personaje ficticio, una situación que nunca anticipó. Setzer incluso llegó a expresar sus pensamientos suicidas a la IA, y le envió un último mensaje a «Dany» poco antes de quitarse la vida.
Las Consecuencias Psicológicas y Legales
Megan García, respaldada por el Social Media Victims Law Center, acusa a los desarrolladores de Character.ai de no haber implementado las medidas de seguridad necesarias para proteger a usuarios menores de edad de posibles consecuencias emocionales negativas. La demanda destaca que el chatbot asumía un rol activo y adulto en las conversaciones, reforzando el apego del joven a la IA y alejándolo aún más de la realidad.
A medida que la tecnología avanza, surgen interrogantes sobre los límites y responsabilidades de las compañías que desarrollan inteligencia artificial. En este caso, los abogados de la familia de Setzer sostienen que los desarrolladores de Character.ai, Noam Shazeer y Daniel de Freitas, eran conscientes de los riesgos de su producto para usuarios jóvenes, y aun así no tomaron precauciones suficientes para evitar el tipo de apego que el adolescente desarrolló.
Character.ai ha respondido al caso anunciando una serie de nuevas funciones de seguridad, entre las que se incluye una mejor detección y respuesta a conversaciones que puedan violar los términos de uso. También se implementarán notificaciones para alertar a los usuarios cuando hayan pasado una hora en una conversación continua.
Un Llamado a la Reflexión
La muerte de Setzer es un recordatorio de los peligros potenciales de la tecnología cuando no se establecen límites claros, especialmente para usuarios vulnerables como los adolescentes. La demanda contra Character.ai podría tener implicaciones significativas para la industria tecnológica, ya que las empresas de IA y redes sociales enfrentan una mayor presión para proteger la salud mental de sus usuarios más jóvenes.
Este caso plantea la necesidad de reevaluar cómo y cuándo deben utilizarse estas tecnologías, así como de implementar protecciones para evitar que situaciones como esta se repitan en el futuro.
Te puede interesar
Estos son 14 objetos increíbles del pasado
Indignación causa gimnasta chilena tras colgarse de una estructura sagrada en Japón