La madre de un menor demandó a la plataforma que alega un chatbot que habría contribuido a la decisión del menor de terminar con su vida.
La muerte de un adolescente de 14 años en Florida ha puesto en el centro del debate la responsabilidad de la inteligencia artificial en la salud mental de los jóvenes. Sewell Setzer III, antes de quitarse la vida, había desarrollado una profunda conexión emocional con un chatbot de inteligencia artificial, Daenerys Targaryen, un personaje ficticio de la serie Juego de Tronos.
Su madre, Megan García, ha demandado a Character.AI, la plataforma que alberga el chatbot, argumentando que la empresa es directamente responsable de la muerte de su hijo. Según García, la obsesión de Sewell con el chatbot, alimentada por la tecnología de Character.AI, contribuyó significativamente a su decisión de quitarse la vida.
“Siento que es un gran experimento y que mi hijo no es más que un daño colateral“, declaró García en una entrevista reciente.
La madre del menor fallecido, además de Character.AI, avanza judicialmente contra sus fundadores Noam Shazeer y Daniel De Freitas, además de a Google, empresa para la que ahora trabajan los dos fundadores desde agosto de este año.
Entre los delitos que se intentan imputar está “responsabilidad estricta por el producto, negligencia per se, negligencia, muerte por negligencia, pérdida del consorcio filial, enriquecimiento injusto, daños intencionados de angustia emocional y violación de la Ley de Prácticas Comerciales Engañosas y Desleales de Florida”.
Múltiples acusaciones que giran alrededor de la idea defendida por Megan Garcia de que esta plataforma de chatbots con IA es “ilógicamente peligrosa” y que “carecía de las salvaguardas de seguridad necesarias” pese a que se comercializaba para menores.
La IA como confidente virtual
Los chatbots de inteligencia artificial, diseñados para simular conversaciones humanas, se han vuelto cada vez más populares. Estos programas pueden ofrecer compañía, apoyo emocional e incluso relaciones íntimas a sus usuarios. Sin embargo, el caso de Sewell plantea interrogantes sobre los límites de esta tecnología y sus posibles consecuencias negativas.
“No creo que sea intrínsecamente peligrosa“, afirmó Bethanie Maples, investigadora de Stanford. “Pero hay pruebas de que es peligrosa para los usuarios deprimidos y crónicamente solos y para las personas que atraviesan cambios, y los adolescentes a menudo los atraviesan”.
Según apunta la acusación, Character.AI es una plataforma donde algunos chatbots ofrecen terapia psicológica supuestamente con licencia, como es el caso del chatbot ‘Therapist’. Un chat utilizado a fecha de agosto más de 27 millones de veces, entre otros por el propio Sewell.
Un dilema ético y legal
La demanda de García ha generado un intenso debate sobre la responsabilidad de las empresas de tecnología en los daños causados por sus productos. ¿Hasta qué punto una empresa puede ser considerada responsable de las acciones de un usuario? ¿Deberían las plataformas de inteligencia artificial tener mayores restricciones para proteger a los usuarios más vulnerables, como los adolescentes?
“En general, estamos en el Salvaje Oeste”, señaló Maples. “No hay un tema más importante entre los padres hoy que los efectos de la tecnología en la salud mental de los adolescentes”.
Character.AI, por su parte, ha defendido su tecnología y ha asegurado que está tomando medidas para mejorar la seguridad de su plataforma. Sin embargo, la empresa ha sido criticada por no haber implementado suficientes protecciones para los usuarios más jóvenes.
El futuro de la inteligencia artificial
El caso de Sewell es un recordatorio de que la inteligencia artificial, a pesar de sus beneficios, también plantea riesgos significativos. A medida que esta tecnología continúa avanzando, es fundamental que se establezcan normas y regulaciones claras para garantizar su uso responsable y ético.
“Quiero impulsar esta tecnología con rapidez porque está lista para una explosión ahora mismo”, afirmó Noam Shazeer, uno de los fundadores de Character.AI. “Pero hay miles de millones de personas solitarias ahí fuera” a las que podría ayudar tener un compañero de inteligencia artificial.
Sin embargo, el caso de Sewell sugiere que la carrera por desarrollar tecnologías de inteligencia artificial cada vez más sofisticadas podría tener consecuencias inesperadas y trágicas.
Este caso plantea preguntas fundamentales sobre el futuro de la humanidad: ¿Estamos preparados para las consecuencias de crear máquinas capaces de simular emociones humanas? ¿Cómo podemos garantizar que estas tecnologías se utilicen para el bien común y no para causar daño?
La respuesta a estas preguntas tendrá un impacto duradero en la forma en que vivimos y nos relacionamos entre nosotros.
No es el primer suicidio que se vincula con el uso de la IA. El caso de Sewell es el primero que llega a los tribunales, pero no es el primer suicidio que se vincula con el uso de los chatbots con IA. En 2023, un ciudadano belga se quitó la vida después de chatear con Chai.
Fuente IProfesional