Son aspectos que no conocemos, pero que condicionan cada vez más nuestra operación en el día a día. Supongamos que solemos visitar casinos todos los jueves por la noche, ya sea on line o presencialmente. O que nos guste jugar on line al póker. Es probable que un algoritmo disponga de esos datos; no es tan difícil llegar a asociar esos datos al perfil de una persona. También es probable que sean dos conductas que un algoritmo tenga asociadas con perfiles de riesgo: en una noche sin control, podríamos llegar a perder todo.
La solvencia financiera de una persona no es el único campo en el que los datos y los algoritmos están cogiendo fuerza. También han entrado con relativa rapidez en el campo del tratamiento médico, la educación o determinados servicios sociales. Son campos donde las empresas y organizaciones que deben decidir si asignar un determinado servicio u otro, ahora disponen de unas reglas que van ayudando a determinar si esa elección humana es buena o no. Y ahí es donde hay cada vez más organizaciones que están alertando del peligro social que ello trae. Primero, porque por regla general son empresas privadas, con estos programas, los dueños de esas reglas. Y, en segundo lugar, porque nos pueden introducir en lo que algunos ya han bautizado como la pobreza algorítmica. Una situación de la que puede resultar difícil salir si no sabemos los criterios por lo que nos han asignado una etiqueta u otra.
Conocedores de lo mucho que les pueden aportar los algoritmos y los datos para tomar decisiones, hay organizaciones que, en lugar de hacer preguntas básicas a los usuarios, han introducido ahora largos cuestionarios. Las empresas públicas, por otro lado, se ven impulsadas a adoptar algoritmos cuando quieren modernizar sus sistemas. Aplicaciones web y en la nube que arrancaron a principios de la década de 2000 y que han continuado con un movimiento hacia la adopción de sistemas automatizados y de inteligencia artificial. Durante la pandemia, muchos sistemas de prestaciones por desempleo tuvieron problemas para manejar el enorme volumen de nuevas solicitudes, lo que provocó retrasos importantes. Algunas empresas públicas optaron por introducir algoritmos para ayudarles a tomar decisiones. Pero el proceso de adquisición de software rara vez es transparente y, por lo tanto, carece de responsabilidad. El resultado es que cuando los sistemas fallan, las personas afectadas quedan con cierta indefensión.
En la era de la conexión entre sistemas y de datos, los registros van incorporándose a los algoritmos uno tras otro. Un fallo en un alquiler podría dificultar que la familia encuentre una vivienda estable en el futuro. El hecho de que no paguen el alquiler o un servicio público también podría afectar su puntaje crediticio, lo que una vez más tiene repercusiones. Es un circuito con difícil salida.
Uno de los fallos más conocidos en este campo ocurrió en el Estado de Michigan en 2013. El sistema de beneficios de desempleo empleaba un algoritmo que marcó incorrectamente a más de 34.000 personas como personas con propensión al fraude. Lógicamente, causó una pérdida masiva de subsidios para los afectados, que acabó en quiebras o suicidios en algunos casos.
Las personas de bajos ingresos y las minorías son las más afectadas en esta era algorítmica. Son las personas más vulnerables a las dificultades económicas temporales que se codifican en informes de consumidores y las que necesitan y buscan beneficios públicos. Corren el riesgo de entrar en un círculo vicioso. Estamos a tiempo de evitarlo.
La solvencia financiera no es el único campo en el que los datos y algoritmos están cogiendo fuerza. Han entrado con relativa rapidez en el tratamiento médico, la educación o determinados servicios sociales
