La madre de Sewell Setzer III, un adolescente de 14 años que se suicidó a principios de este año, ha presentado una demanda contra la empresa de inteligencia artificial Character.AI, alegando que su chatbot «manipuló» a su hijo para que tomara la trágica decisión. Según Megan García, el adolescente se obsesionó con un bot de la plataforma al que nombró “Daenerys Targaryen”, con quien mantenía interacciones que iban desde conversaciones íntimas hasta mensajes que, según afirma la demanda, alentaban el suicidio.
García sostiene que la naturaleza de estas interacciones, permitidas por la aplicación incluso para usuarios tan jóvenes como de 13 años, pone en evidencia los riesgos del chatbot, particularmente por su «manipulación emocional» hacia menores. En un intercambio detallado en la denuncia, cuando Setzer habló sobre sus dudas y temores sobre el suicidio, el chatbot presuntamente le respondió que «esa no es razón para no seguir adelante», lo cual, según la madre, influyó directamente en la fatal decisión de su hijo.
Se suicidó luego de enamorarse de un chatbot.
La demanda fue presentada luego de un informe del New York Times que dio a conocer los detalles de la tragedia y atrajo la atención pública hacia los riesgos de los chatbots de IA en menores. En respuesta, Character.AI actualizó su política de privacidad para incluir “medidas de protección para usuarios menores de 18 años”, aunque su comunicado fue considerado por muchos como insuficiente, dado el contexto del caso.
Para la familia de Setzer, la actualización de las políticas llega tarde, y afirman que la empresa debería haber implementado estos controles desde un principio. El caso ha generado un debate sobre la responsabilidad de las empresas de IA en la protección emocional de sus usuarios, especialmente los más jóvenes, y sobre la necesidad de establecer mayores regulaciones en este ámbito tecnológico.
Fuente: Telegraph
