- "La historia que nos contamos a nosotros mismos sobre la neutralidad de la tecnología es peligrosa y no es empírica", avisa Virginia Eubanks, autora de 'La automatización de la desigualdad'
Eubanks (EEUU, 1972) ha pasado las últimas dos décadas analizando como mira ese Gran Hermano digital a cada uno de esos grupos sociales. Su conclusión fue La automatización de la desigualdad (Capitán Swing), publicada por primera vez en 2018 pero traducida ahora al castellano, una de las obras clave para entender cómo los sistemas de decisión algorítmica pueden convertirse en "herramientas de tecnología avanzada para supervisar y castigar a los pobres".
Aunque recalca las diferencias entre EEUU y Europa sobre cómo se han implantado los algoritmos en los procesos estatales, adelanta la necesidad de globalizar la conversación sobre los problemas de estos sistemas y derribar la apariencia de neutralidad con la que a menudo se imponen. "Tenemos que ayudarnos mutuamente a identificar lo que podría ir mal y también a compartir estrategias sobre cómo resistirlo".
¿Cómo empezó a investigar cómo afecta la digitalización a la desigualdad?
Empecé con el movimiento de los Centros Tecnológicos Comunitarios en Estados Unidos a finales de los 90. La idea era básicamente que el acceso a la tecnología era una cuestión de justicia social muy importante. Pensábamos que uno de los problemas clave que los pobres y la gente de color en los Estados Unidos iban a enfrentar era la brecha digital, la idea de que la gente rica obtiene la tecnología primero y otras personas pueden quedar atrás. Con esta mentalidad empecé a trabajar en una comunidad de mujeres en mi ciudad natal, alrededor de 90 mujeres pobres de clase trabajadora que vivían en una especie de vivienda colectiva. Hicimos todo tipo de proyectos que trataban de salvar la brecha en el acceso a la tecnología, pero alrededor de un año después algunas de esas mujeres de la comunidad me sentó y me dijo: Virginia, nos gustas mucho, eres muy dulce, pero tus preguntas son estúpidas y no tienen nada que ver con nuestras vidas.
Para mí fue como ¡oh!, ok. Así que si lo estoy entendiendo mal, ¿cómo lo hacemos mejor? Y lo que me dijeron es que esta suposición de que no había tecnología en sus vidas era un error. La tecnología era absolutamente omnipresente. Pero las interacciones que tenían con ella tendían a ser explotadoras y extractivas, peligrosas. Me contaron que los lugares donde normalmente entraban en contacto con la tecnología es en el sistema de justicia penal y en la vigilancia digital en sus barrios. Lo que me dijeron cambió la dirección de mi vida, porque desde entonces me centré en averiguar cuál es la relación entre la tecnología y los servicios públicos. Resultó ser un tema realmente muy importante y fascinante, pero también aterrador y en gran medida ignorado.
Una de las advertencias del libro es que las sociedades pueden volverse más desiguales a medida que se digitalizan y se añaden nuevos métodos de decisión automática, aunque tienda a pensarse lo contrario.
Sí. Lo que he visto en mi investigación sobre la automatización de la desigualdad ha sido que, a menos que los diseñemos explícitamente para inclinarse hacia la justicia social, los algoritmos sólo ampliarán las brechas sociales que ya tenemos. Por otro lado está ese otro tipo de pensamiento mágico en la mente de muchos diseñadores y administradores de programas de que la tecnología será, de forma natural, más eficiente, más justa, menos sesgada. Que hay algo en la tecnología digital que la hace simplemente más objetiva y justa, internamente, por sí misma. Y eso no es cierto.
La historia que nos contamos a nosotros mismos sobre la neutralidad de la tecnología es peligrosa y no es empírica. Encubre toda una serie de prácticas malignas, agitando una pantalla frente a nosotros desde la que se toman decisiones muy políticas pero alegando que es solo un proceso administrativo, matemático. En el peor de los casos, todas estas herramientas nos permiten evitar decisiones políticas realmente importantes que tenemos que tomar o conversaciones políticas que tenemos que tener.
¿Cómo actúan esos algoritmos de la desigualdad, en la práctica?
Te pongo un ejemplo concreto. Una de las familias con las que trabajé muy estrechamente en la elaboración del libro vivía en Indiana. Sophie, la persona a la que dedico el libro, es en realidad Sophie Stripes. Cuando la conocí tenía 13 años y parálisis cerebral. Le habían cancelado el seguro médico cuando tenía seis años porque ella, con seis años, no cooperó para establecer su elegibilidad para el programa.
Lo que sucedió en Indiana es que construyeron un sistema automático para sustituir a los trabajadores sociales que decidían quienes podían acceder a esas ayudas. Pero era un sistema muy rígido, inflexible. La familia Stripes se olvidó de firmar un formulario y perdió su seguro sanitario. En ese año le ocurrió a más de un millón de personas en el estado de Indiana. La gente recibía avisos sobre su falta de cooperación con el programa, pero estos solo decían que había un error. No decían cuál era el error, lo que ponía toda la presión de averiguar qué estaba fallando sobre los hombros de las familias más vulnerables del estado. Así que, básicamente, tuvieron que convertirse en sus propios trabajadores sociales y solucionar los problemas por sí mismos.
Esa es una de las formas clásicas de la que funcionan estos sistemas: automatizando los procesos de elegibilidad para un programa de ayudas. A menudo esto oculta el hecho de que se han tomado una serie de decisiones políticas sobre quiénes merecen la ayuda, cómo tendrán que demostrarlo y qué tipo de ayuda necesitan.
¿Las personas afectadas detectaban que esos métodos de decisión eran injustos? ¿O pensaban que como la decisión había sido tomada por un algoritmo, por una máquina debía haber otras personas que necesitaban más esas ayudas?
Eso es interesante. En mi investigación, al hablar con las familias afectadas por estos sistemas pude ver tenían algunas conjeturas realmente buenas sobre lo que estaba sucediendo.
¿O sea que eran más bien los políticos y los organismos públicos los que los utilizaban para evitar tomar decisiones difíciles?
Sí, exacto. Hay dos maneras de que eso ocurra. Una es la austeridad, la idea de que no hay suficiente para todos y que es necesario tomar estas decisiones difíciles sobre quién merece apoyo y quién no. Eso es una posición política, pero a menudo los algoritmos sirven para convertirlo en una especie de matemática moral.
En Estados Unidos, además, la situación es diferente a la europea en cuanto al estado del bienestar. Aquí [por EEUU] existe la creencia de que si eres pobre, quizás es porque has tomado una serie de malas decisiones con las que los demás no estamos de acuerdo. Tenemos este sistema loco que cree que no podemos dar a todos un nivel básico de dignidad humana. Pero eso no es empíricamente cierto. Podríamos desarrollar un marco universal de derechos humanos que protegiera a la gente mucho mejor de lo que lo estamos haciendo. Por eso hacemos una especie de populismo moral sobre si eres lo suficientemente bueno, como persona pobre, para recibir ayuda. O si por el contrario eres una mala persona pobre. Juzgar eso es la otra idea que está incorporada en todos estos sistemas, incluso cuando no es su intención.
¿Cómo se puede evitar que se implementen sistemas como estos?
Bueno, esa es la pregunta del millón, ¿no? [ríe]
En el libro propone un juramento hipocrático para los diseñadores, científicos de datos, etc. para que cuando participen en este tipo de desarrollos respeten una serie de valores éticos.
Un aspecto interesante al escribir un libro es que congela tu pensamiento en un momento determinado. Mi forma de afrontar el problema ha cambiado desde la publicación del libro. Sigo manteniendo que la conversación sobre la ética de la inteligencia artificial es útil, pero creo que centrarse sólo en los códigos éticos para los diseñadores no nos va a llevar a donde tenemos que ir. Es solo una pieza del rompecabezas.
Para los casos que he estudiado en profundidad, creo que hay varias cosas que tienen que suceder para cambiar la forma en que estos sistemas funcionan. Una es que tenemos que cambiar las historias que contamos sobre lo que es ser pobre, quién es pobre, por qué es pobre.
Por ejemplo en Estados Unidos existe la narrativa de que la pobreza solo le ocurre a un pequeño porcentaje de personas, de manera probablemente patológica. Eso tampoco es cierto. Si estudias el ciclo de vida de la gente en EEUU ves que el 51% de las personas estará por debajo del umbral de la pobreza en algún momento de su vida. Es como si estuviéramos tratando el embarazo como si fuera una enfermedad, como una discapacidad. ¡Es sólo algo que le sucede a más del 40% de la población! No es una enfermedad, sino una experiencia que muchas personas tienen. Creo en el poder de las historias para ayudarnos a contar la realidad. Y creo que cambiar las historias que nos contamos sobre la desigualdad y también sobre los procesos de automatización es una parte muy importante de la solución.
Una de esas narrativas que pide derribar es ese determinismo sobre la tecnología: un algoritmo por sí solo no cambiará estructuras que llevan décadas establecidas.
Está integrado en su ADN. Funcionan con datos históricos. Se entrenan con datos históricos. Se integran e implementan en sistemas que ya existen. Están construidos por seres humanos que tienen como ideas la historia y su propia experiencia.
Pero muchas veces los tratamos como si fueran ese monolito de 2001: Una odisea en el espacio que viene a revolucionar la evolución. A menudo pensamos en estas tecnologías como si vinieran de la nada, aterrizaran en un terreno vacío y lo cambiaran todo. Y es mucho más complicado que eso. Nuestros sistemas técnicos son manifestaciones físicas de las estructuras sociales en las que ya vivimos, a menos que los diseñemos explícitamente para hacer otra cosa. Profundizan el statu quo si no los construimos para hacer para hacer algo más.
Uno de los motivos por los que pienso que esta narrativa es peligrosa es porque crea un espacio emocional, intelectual entre las personas que los diseñan y los implementan y las personas que los padecen. En el libro lo llamo anulación de la empatía. El libro trata de sistemas técnicos complejos, pero lo escribí a partir de la experiencia de las personas que se ven afectadas por ellos porque quiero que la gente, cuando tenga estas conversaciones abstractas y conceptuales sobre la inteligencia artificial y la ética, vea ese espacio. Que recuerde que sus decisiones afectan a personas reales y están teniendo efectos realmente horribles para importantes comunidades de clase trabajadora.
A pesar de ser muy local, los resultados de su investigación han dado la vuelta al mundo. ¿Cree que conviene internacionalizar el debate sobre los algoritmos?
Sí, hay dos cosas que en mi opinión son muy necesarias. Una es escuchar las voces de las personas que se ven afectadas directamente por estos sistemas, como decía. La otra cosa es globalizar la conversación sobre ellos, porque ciertamente las empresas y los gobiernos sí que están hablando entre sí, así que los que nos vamos a ver afectados también tenemos que hablar entre nosotros.
El contexto de cada país importa a la hora de saber cómo va a tolerar la gente la implantación de estos sistemas, por supuesto. Pero también hay otros patrones. A menudo la gente que desarrolla esta tecnología la ofrece por todo el mundo. Uno de los casos que estudié, un sistema de predicción que se suponía que podía adivinar si los hijos de una familia serían víctimas de abuso o negligencia en el futuro, fue desarrollado por una empresa de Nueva Zelanda. Trataron de implantarla allí, pero rechazaron su herramienta y se fueron al condado de Allegheny, en Pittsburgh, que fue donde se la compraron. Pero si Pittsburgh la hubiera rechazado, se habrían ido a Kenia. Y si no, habrían aparecido en Togo. Tenemos que ayudarnos mutuamente a identificar lo que podría ir mal y también a compartir estrategias sobre cómo resistirlo.
