OpenAI implementa medidas de apoyo emocional dirigidas a menores

Una de las mayores preocupaciones sociales actuales, manifestada por padres y profesionales de la salud mental, es la de cómo afecta el uso de los chatbots conversacionales y generativos de IA a los adolescentes, especialmente en lo relativo a manifestaciones suicidas o autolesivas.

Para OpenAI y su ChatGPT, probablemente la IA más popular, el punto de inflexión en este aspecto ha sido el suicidio de un joven estadounidense este año tras preguntar a la IA cómo ahorcarse y la demanda penal posterior de sus padres. Ante esta crisis de imagen, OpenAI ha reaccionado presentando un paquete de medidas preventivas diseñadas para proteger la salud mental de sus usuarios en general y con atención específica en los jóvenes.

El control parental

A principios de septiembre, OpenAI confirmó que integraría nuevas salvaguardas en ChatGPT. Entre ellas, un control parental ya activado. Esta nueva función ya está disponible para todos los usuarios del chatbot, tanto de la versión gratuita como de las de pago. Además, se ha lanzado simultáneamente en todo el mundo.

El control parental de ChatGPT parte del momento en que se enlaza la cuenta de un adolescente con la de sus padres o tutores.

Para activarlo, hay que acceder al apartado de Configuración pulsando sobre la foto del perfil y seleccionar la opción Controles parentales. Se abrirá una ventana desde la que se puede invitar a otros usuarios a unirse y asignarles un rol concreto.

Una vez que el adolescente acepta esta conexión, el adulto podrá ajustar varias opciones, tales como establecer un horario de uso, desactivar el modo de voz, desactivar la memoria, evitar que use la generación de imágenes y reducir el contenido sensible.

Pero la función realmente importante y novedosa es que, si el adolescente escribe un mensaje relacionado con autolesiones o suicidio, este se envía a un equipo de revisores humanos que deciden si mandan o no un aviso a sus padres o tutores.

“Nos pondremos en contacto con los padres de todas las formas posibles”, afirma Lauren Haber Jonas, responsable de bienestar juvenil de OpenAI. Los padres pueden optar por recibir estas alertas a través de mensajes de texto, correo electrónico y una notificación de la aplicación ChatGPT. Se está trabajando en que estos avisos lleguen en el menor tiempo posible tras ser marcados para su revisión.

Además, en caso de mucha urgencia, también se envía un aviso a los servicios de emergencia.

¿Y la privacidad?

Una cuestión paralela que se plantea es la de la privacidad de los adolescentes. OpenAI afirma que la notificación enviada indicará en términos generales que el adolescente puede haber escrito un mensaje relacionado con el suicidio o la autolesión. También podría incluir estrategias de conversación de expertos en salud mental para que los padres las utilicen al hablar con su hijo.

Estos avisos no incluirán citas directas de la conversación entre el joven y el chatbot, ni las indicaciones ni los resultados. “Queremos dar a los padres suficiente información para que actúen y mantengan una conversación con sus hijos adolescentes y, al mismo tiempo, preservar en cierta medida la privacidad de los adolescentes, porque el contenido también puede incluir otra información sensible”, explica Jonas.

Para que todo esto funcione, los padres o tutores tendrán que enviar a su hijo adolescente una invitación que autorice que su cuenta sea supervisada, y este deberá aceptarla. Esta vinculación de cuentas también puede ser iniciativa del joven.

Sin embargo, el punto débil de esta función es que el adolescente no acepte esta supervisión de manera directa, lo cual ya puede ser una señal de alarma, o que se haya abierto una segunda cuenta de la que sus padres no sepan nada, sin ningún tipo de control.

Qué hacen otras empresas de IA

Otras compañías de inteligencia artificial también se han visto salpicadas por este tipo de polémica. La web Xataka, especializada en temas digitales y tecnología, las ha revisado y esto ha hallado en las principales:

Claude:

La IA conversacional de Anthropic, participada por Google, apuesta por la “seguridad por diseño” y afirman que esta se encuentra en el centro de su modelo desde el principio. Colaboran con la organización de ayuda ThroughLine para que Claude ajuste sus respuestas, pero no especifican cómo son esas respuestas.

Gemini:

DeepMind, propiedad de Google, colabora con Wellcome Trust, aunque se dirige más a la investigación. Sobre su política de seguridad aseguran que Gemini no puede participar en ningún tipo de actividad peligrosa, incluido suicidio o autolesiones. No especifica qué hacen si detectan alguno.

Grok:

La inteligencia artificial de X no se ha visto salpicada, que se sepa, por situaciones relacionadas con la salud mental y adolescentes o cualquier otro usuario. Xataka asegura no haber encontrado ninguna salvaguarda específica para proteger la salud mental de los usuarios. Los desbarres de esta IA van más por lado político de los debates y las respuestas inexactas.