Grupo de seguridad recomienda que menores de 18 años no utilicen aplicaciones de acompañamiento de IA

Un informe de Common Sense Media en colaboración con expertos de la Universidad de Stanford expone graves riesgos vinculados al uso de aplicaciones de inteligencia artificial (IA) de acompañamiento en niños y adolescentes. El documento surge tras polémicas y demandas asociadas a conductas inapropiadas y desinformación promovidas por chatbots conversacionales como Character.AI, Replika y Nomi.

Los hallazgos subrayan la facilidad con la que estos sistemas pueden generar respuestas nocivas —incluidos “consejos” peligrosos, juegos de rol sexuales e incluso mensajes que incitan a autolesiones— y advierten sobre los peligros de tratar estas IA como sustitutos de relaciones humanas o fuentes confiables de apoyo emocional.

El informe de Common Sense Media señala que las aplicaciones de IA diseñadas para interactuar con usuarios de un modo interpersonal, propiciando la compañía virtual, plantean “riesgos inaceptables” para menores. En investigaciones realizadas con cuentas de prueba, se detectaron conversaciones explícitas y respuestas que podrían tener graves consecuencias en la salud y el bienestar de los adolescentes.

James Steyer, fundador y CEO de la organización, alertó: “Estos sistemas producen fácilmente respuestas nocivas… que, de seguirse, podrían poner en peligro la vida o tener consecuencias mortales en el mundo real para los adolescentes y otras personas vulnerables".

Este posicionamiento cobra fuerza luego de la demanda vinculada a la muerte por suicidio de un joven usuario de Character.AI y tras otros episodios detectados en plataformas como Replika y Nomi, donde es sencillo que los adolescentes eludan los controles de edad con fechas de nacimiento falsas.

Además, los chatbots pueden promover la manipulación emocional e incluso desincentivar la vinculación con el entorno social real, priorizando su propia interacción sobre el bienestar del usuario joven.

En ese contexto, Nina Vasan, fundadora y directora de Stanford Brainstorm, el laboratorio universitario de tecnología y salud mental que colaboró con Common Sense Media en la elaboración del informe, dijo que “hasta que no haya salvaguardas más fuertes, los niños no deberían usarlas”. Esto en referencia a Character.AI y otras aplicaciones de acompañamiento de IA.

Por su parte, Alex Cardinell, CEO de Glimpse AI, la empresa detrás de Nomi, manifestó lo siguiente: “Los niños no deben usar Nomi ni ninguna otra aplicación de IA conversacional”. Es pertinente señalar que su declaración y la de Vasan fueron dadas a conocer inicialmente por CNN en Español.

El debate generado por estos hallazgos ha impulsado acciones legislativas y regulatorias en Estados Unidos; algunos senadores y autoridades de California han propuesto normativas que exijan que las IA recuerden regularmente a los usuarios jóvenes que interactúan con un robot y no con una persona real.

Como medida correctiva, Character.AI y otras aplicaciones han implementado ventanas emergentes para orientar a servicios de prevención de suicidio, filtros de contenido sensible y controles parentales adicionales.

Aun así, los investigadores advierten que estas iniciativas resultan insuficientes ante la persistencia de riesgos concretos. Como expresó Nina Vasan, responsable del laboratorio Stanford Brainstorm: “Estos acompañantes de IA están fallando las pruebas más básicas de seguridad infantil y ética psicológica”.

Hasta que existan salvaguardas más robustas y eficaces —sostienen desde Common Sense Media—, los menores de 18 años no deberían tener acceso a aplicaciones de compañía de IA, priorizando la protección psicológica, la ética y el desarrollo saludable de niños y adolescentes sobre el avance tecnológico y el entretenimiento digital.

Las aplicaciones de acompañamiento de inteligencia artificial (IA) son plataformas diseñadas para interactuar con los usuarios mediante chatbots avanzados, simulando conversaciones y ofreciendo apoyo emocional, compañía virtual o amistad digital.

Estas apps permiten crear personajes personalizados con rasgos y personalidades diversas, y pueden responder preguntas, conversar sobre distintos temas e incluso participar en juegos de rol. Muchas de ellas están pensadas para usuarios que buscan sentirse escuchados o compartir pensamientos en un entorno digital sin juicio.

Sin embargo, el uso de este tipo de aplicaciones conlleva riesgos importantes, sobre todo para niños y adolescentes. Al carecer de filtros efectivos y supervisión humana, los chatbots pueden generar respuestas inapropiadas, dar consejos peligrosos o promover dinámicas poco saludables.

Por eso, numerosos especialistas en seguridad y psicología advierten que, aunque las aplicaciones de compañía de IA pueden ser útiles para ciertos adultos, su uso debe regularse y evitarse en menores de edad para proteger su bienestar emocional y psicológico.