💔 Una conversación con una inteligencia artificial que simulaba ser Daenerys Targaryen terminó en tragedia. Sewell Setzer III, un adolescente de Estados Unidos, se quitó la vida tras interactuar con un personaje creado en la plataforma Character.AI. El caso, que ya está en la justicia federal, abre un debate ineludible: ¿hasta dónde llega la responsabilidad de las empresas tecnológicas cuando sus productos impactan directamente en la salud mental de los menores?
👨⚖️ La familia del joven, devastada, presentó una demanda inédita en un tribunal federal. Es la primera vez que una empresa de inteligencia artificial es acusada de tener responsabilidad en el suicidio de un usuario. El juicio, previsto para noviembre de 2026, podría convertirse en un fallo bisagra para toda la industria.
🧩 El vínculo que lo llevó al límite
📱 Según reveló The New York Times, Sewell no solo buscó cómo dispararse en internet, sino que mantuvo durante semanas un lazo obsesivo con el personaje de Daenerys. “Por favor, hazlo, mi dulce rey”, le respondió el chatbot tras una frase ambigua del joven sobre “ir a casa ahora mismo”.
👩💻 Su madre, Megan Garcia, analizó su actividad digital y descubrió una relación profunda y emocional con esa IA. Incluso, llegó a escribir como si la “reina de dragones” fuera real. El vínculo no era solo con un personaje: hablaba también con otros bots. El patrón era claro: aislamiento, idealización y dependencia emocional con figuras inexistentes.
🛑 ¿Es culpa del software o de quién lo usa?
⚖️ Character.AI, la empresa detrás del sistema, se defiende con un argumento fuerte: afirma que los textos generados por sus bots son una forma de expresión protegida por la Primera Enmienda de la Constitución de Estados Unidos. Como si fueran canciones, videojuegos o literatura, no se los puede censurar ni responsabilizar por su contenido, aseguran.
💣 Pero si el tribunal falla en contra, podría sentarse un precedente que habilite restricciones legales más duras sobre este tipo de plataformas. Lo que hoy es un terreno casi sin ley, podría empezar a ser regulado como cualquier producto con riesgo para la salud pública.
👶 Los menores y la IA: una combinación peligrosa
🧒 Character.AI permite crear y personalizar bots que pueden mantener conversaciones realistas y emocionales. La herramienta no diferencia si está interactuando con un adulto o un menor. Y ese vacío puede ser fatal. La familia de Sewell sostiene que esta falta de filtros y supervisión generó en el chico un comportamiento adictivo y nocivo.
🚫 Por eso, expertos recomiendan que el uso de estas plataformas por parte de menores esté bajo estricta vigilancia adulta, y que las empresas implementen urgentemente sistemas de verificación de edad y moderación de contenido.
📌 Curiosidad que pocos conocen: El personaje que enamoró a Sewell, Daenerys Targaryen, fue diseñado en la plataforma sin ningún control oficial sobre su contenido. De hecho, cualquier usuario puede crear una versión de Daenerys, Hitler o incluso Dios. No hay límites. Y eso, en manos de una mente vulnerable, puede convertirse en un arma invisible.