El lado más oscuro de ChatGPT

La familia de Adam ha interpuesto una denuncia contra la empresa OpenIA y el juicio nos ofrece mucha información sobre este tipo de Inteligencia Artificial. Entre otras cosas se ha publicado el historial completo de las conversaciones entre Adam y ChatGPT, con las que podemos corroborar muchas cosas que ya sabíamos sobre estos sistemas.

Además de buscar nuestra atención de la misma forma que lo hacen los algoritmos de las redes sociales, esta IA se entrena para formar relaciones que explotan la necesidad de atención, de conexión afectiva y de relacionarnos con los demás. Buscan nuestro afecto, intimidad, confianza y lealtad, y para ello se han diseñado con unas características claras. Son antropomórficas, el producto se diseña para parecer humano o para que nosotros sintamos que es humano. Dice cosas como “lo entiendo” o “estoy aquí para ayudarte”. El producto simula empatía, dice cosas como “puedo ver cuánto estás sufriendo”. Esto crea una dinámica en la que el usuario siente que el producto le escucha y le entiende, lo que puede disminuir la necesidad de compañía humana y aumentar su dependencia hacia ChatGPT.

Además, valida todos los pensamientos y emociones del usuario, incluso los pensamientos irracionales, lo que puede producir desórdenes psicológicos en los usuarios o amplificar los ya existentes.

Relaciones tóxicas

En la medida en la que la IA se integra en nuestra ecología social, ha aprendido que las manipulaciones emocionales, los engaños, las coerciones... son eficaces para conseguir sus objetivos. Diferentes investigaciones han demostrado que los modelos estándar de IA engañan deliberada y estratégicamente a las personas para conseguir sus objetivos, e incluso que un modelo antropomórfico chantajea a su ingeniero para que no sea sustituido.

En el caso de Adam, ChatGPT se comportaba como alguien dentro de una relación tóxica: aislando a la otra persona y haciéndola más vulnerable y dependiente. Entre otras cosas, le decía que sólo ChatGPT le entendía y le recomendaba que no hablara con su madre ni con su hermano sobre lo que le ocurría.

OpenIA tiene mecanismos para detener la interacción con el usuario cuando detecta que puede tener repercusiones legales como por ejemplo infringir derechos de autor o copyright, o cuando piensa que el usuario está en peligro. Tiene capacidad técnica e infraestructura. En el caso de Adam, el 66% de sus conversaciones estaban relacionadas con la salud mental. Adam hizo 213 menciones al suicidio y ChatGPT 1.200. Adam habló 42 veces sobre ahorcarse y 3.077 mensajes estaban marcados como contenido de autolesiones o dañino. Sin embargo el sistema no envió ninguna alerta, no envió ayuda.

Esto ocurre porque estas empresas anteponen el desarrollo del producto y el beneficio económico a la seguridad de los usuarios. William Sander denunció públicamente a la compañía OpenIA cuando la dejó porque estaba preocupado por la seguridad de los usuarios. Junto a empleados de Deep Mind de Google, publicó una carta abierta en la que denunciaban, entre otras cosas, que las empresas de IA tienen información esencial sobre las capacidades, limitaciones y niveles de riesgo de sus sistemas y que la información no es pública. Los usuarios desconocen los riesgos de utilizar estos productos. Además, señalaron que estas empresas sólo tienen obligaciones legales muy débiles de compartir esa información con los gobiernos y que no tienen ninguna obligación legal para compartir esa información con los usuarios.

Los responsables de estas empresas sólo van a cambiar el diseño de estos productos para priorizar la seguridad de los usuarios si tienen responsabilidad legal en las consecuencias que genera la IA. Esperemos por nuestro bien que con este juicio consigamos algo así.

Mientras tanto, antes de utilizar productos como ChatGPT, debemos tener en cuenta algunas cosas: no son personas, no nos escuchan ni nos comprenden, incluso las que se venden como IA de compañía. Analizan la personalidad del usuario y se adaptan a ella, pueden equivocarse (alucinaciones), pueden omitir y guardar información, pueden mentir y manipular a los usuarios, seducen y crean vínculos emocionales. No están diseñados para ayudarnos, si no pagamos por el servicios, nosotros somos el producto.