Wel jueves 13 de agosto de 2020 será recordado como un momento crucial en la relación de la democracia con la tecnología digital? Debido al brote de coronavirus, los exámenes de nivel A y GCSE tuvieron que ser cancelados, dejando a las autoridades educativas con una opción: dar a los niños las calificaciones que habían sido predichas por sus profesores, o usar un algoritmo. Se decidieron por lo último.
El resultado fue que más de un tercio de los resultados en Inglaterra (35,6%) fueron rebajados en un grado con respecto a la nota emitida por los profesores. Esto significaba que muchos alumnos no obtenían las notas que necesitaban para llegar a la universidad de su elección. Lo que es más preocupante, la proporción de estudiantes de escuelas privadas que obtuvieron A y A* fue más del doble de la proporción de estudiantes de escuelas integrales, lo que pone de relieve la gran desigualdad del sistema educativo británico.
Lo que sucedió después fue predecible pero significativo. Muchos adolescentes, al darse cuenta de que sus oportunidades de vida habían sido jodidas por un pedazo de código de computadora, salieron a las calles. «A la mierda el algoritmo» se convirtió en un eslogan popular. Y, a su debido tiempo, el gobierno cedió y revirtió los resultados, aunque no antes de que se causara mucha angustia emocional y caos administrativo. Y entonces Boris Johnson culpó del fiasco a «un algoritmo mutante» que, según se dice, era una mentira. No había ninguna mutación involucrada. El algoritmo hizo lo que decía en la lata. La única mutación estaba en el comportamiento de los humanos afectados por sus cálculos: se rebelaron contra lo que hacía.
Finanzas
Los algoritmos se utilizan ampliamente para aceptar y rechazar solicitudes de préstamos y otros productos financieros. Se cree que existe una discriminación flagrante. Por ejemplo, en 2017 el cofundador de Apple, Steve Wozniak, descubrió que cuando solicitó una tarjeta de Apple le ofrecieron un préstamo diez veces mayor que el de su esposa, aunque compartían varias cuentas bancarias y otras tarjetas de crédito. El socio de Apple para la tarjeta, Goldman Sachs, negó que tomaran decisiones basadas en el género.
La policía
Los programas informáticos se utilizan para asignar recursos policiales sobre el terreno y para predecir las probabilidades de que una persona cometa o sea víctima de un delito. El año pasado, un estudio de Liberty encontró que al menos 14 fuerzas policiales del Reino Unido han usado o tienen previsto usar software de predicción de crímenes. Dicho software es criticado por crear patrones de delincuencia autocumplidos, es decir, por enviar a los agentes a zonas en las que ya se han producido delitos anteriormente y por la elaboración de perfiles discriminatorios de las minorías étnicas y las comunidades de bajos ingresos.
Trabajo social
Los ayuntamientos utilizaban el «análisis predictivo» para destacar a determinadas familias para la atención de los servicios infantiles. Una investigación del Guardian 2018 encontró que los consejos de Hackney, Thurrock, Newham, Bristol y Brent estaban desarrollando sistemas de predicción ya sea internamente o contratando compañías privadas de software. Los críticos advierten que, aparte de la preocupación por la gran cantidad de datos sensibles que contienen, estos sistemas incorporan los prejuicios de sus diseñadores y corren el riesgo de perpetuar los estereotipos.
Solicitudes de empleo
Los sistemas automatizados son utilizados cada vez más por los reclutadores para reducir el número de solicitantes de empleo, vigilar las pruebas en línea e incluso entrevistar a los candidatos. El software escanea los CV en busca de palabras clave y genera una puntuación para cada candidato;. a los candidatos con mayor puntuación se les puede pedir que realicen pruebas de personalidad y habilidades en línea; y; en última instancia, la primera ronda de entrevistas puede ser llevada a cabo por robots que utilizan el software para analizar los rasgos faciales, la elección de palabras y los indicadores vocales para decidir si un candidato avanza. Cada una de estas etapas se basa en una ciencia dudosa y puede discriminar ciertos rasgos o comunidades. Esos sistemas aprenden los prejuicios y tienden a favorecer a los ya aventajados.
Ofender
Los algoritmos que acceden a las posibilidades de reincidencia de un criminal son muy utilizados en los Estados Unidos. Una investigación de ProRepublica del software de Rreincidencia de Compas encontró que a menudo se predecía que los acusados negros tenían un mayor riesgo de reincidencia de lo que realmente eran y que los acusados blancos a menudo se predecía que eran menos riesgosos de lo que eran. En el Reino Unido, la fuerza policial de Durham ha desarrollado el Harm Assessment Risk Tool (HART) para predecir si los sospechosos están en riesgo de delinquir. La policía se ha negado a revelar el código y los datos sobre los que el software hace sus recomendaciones.
Y esa fue una verdadera primicia, la única vez que puedo recordar cuando una decisión algorítmica fue desafiada en protestas públicas que fueron lo suficientemente poderosas como para provocar una escalada del gobierno. En un mundo cada vez más -y de forma invisible- regulado por el código informático, este levantamiento podría parecer un precedente prometedor. Pero hay varias buenas razones, por desgracia, para creer que podría ser más bien un blip. La naturaleza de los algoritmos está cambiando, por una parte, su penetración en la vida cotidiana se ha profundizado, y mientras que los grados del algoritmo Ofqual afectaron las posibilidades de vida de una generación entera de los jóvenes, el impacto de los algoritmos dominantes en nuestro futuro no regulado se sentirá en los individuos aislados en privado, haciendo menos probable las respuestas colectivas.
Según el Shorter Oxford Dictionary, la palabra «algoritmo» – que significa «un procedimiento o conjunto de reglas para el cálculo o la resolución de problemas, ahora esp con un ordenador» – data de principios del siglo XIX, pero sólo hace relativamente poco que ha penetrado en el discurso cotidiano. La programación es básicamente un proceso de creación de nuevos algoritmos o de adaptación de los existentes. El título del primer volumen, publicado en 1968, del magisterial de cinco volúmenes de Donald Knuth El arte de la programación informáticapor ejemplo, es «Algoritmos fundamentales». Así pues, en cierto modo, la creciente prevalencia de los algoritmos hoy en día refleja simplemente la omnipresencia de las computadoras en nuestra vida cotidiana, sobre todo teniendo en cuenta que cualquiera que lleve un teléfono inteligente también lleva una computadora pequeña.
El algoritmo Ofqual que causó furor en los exámenes fue un ejemplo clásico del género, ya que era determinístico e inteligible. Era un programa diseñado para hacer una tarea específica: calcular las notas estandarizadas de los alumnos a partir de la información a) de los profesores y b) de las escuelas en ausencia de los resultados reales de los exámenes. Era determinista en el sentido de que hacía una sola cosa, y la lógica que aplicaba -y los tipos de resultados que produciría- podían ser comprendidos y pronosticados por cualquier experto técnico competente al que se le permitiera inspeccionar el código. (En ese contexto, es interesante que la Real Sociedad de Estadística se ofreciera a ayudar con el algoritmo, pero se retiró porque consideró que el acuerdo de no divulgación que habría tenido que firmar era excesivamente restrictivo).
Los algoritmos clásicos siguen estando en todas partes en el comercio y en el gobierno (hay uno que actualmente causa pena a Boris Johnson porque recomienda permitir más desarrollo de viviendas nuevas en los distritos electorales tory que en los laboristas). Pero ya no están donde está la acción.
Desde principios de los años noventa -y el auge de la web en particular- los informáticos (y sus empleadores) se han obsesionado con un nuevo género de algoritmos que permiten a las máquinas aprender de los datos. El crecimiento de Internet -y la vigilancia intensiva de los usuarios que se convirtió en parte integral de su modelo de negocios dominante- comenzó a producir torrentes de datos sobre el comportamiento que podían utilizarse para entrenar estos nuevos tipos de algoritmos. Así nació la tecnología de aprendizaje automático (ML), a menudo denominada «IA», aunque esto es engañoso – la ML es básicamente algoritmos ingeniosos más grandes datos.
Los algoritmos de aprendizaje a máquina son radicalmente diferentes de sus antepasados clásicos. Estos últimos toman alguna entrada y alguna lógica especificada por el programador y luego procesan la entrada para producir la salida. Los algoritmos de ML no dependen de las reglas definidas por los programadores humanos. En su lugar, procesan datos en bruto, por ejemplo, texto, correos electrónicos, documentos, contenido de medios sociales, imágenes, voz y vídeo. Y en lugar de ser programados para realizar una tarea en particular, son programados para aprender a realizar la tarea. La mayoría de las veces, la tarea es hacer una predicción o clasificar algo.
Esto tiene la implicación de que los sistemas de ML pueden producir resultados que sus creadores no podrían haber previsto. Lo que a su vez significa que son «ininterpretables»: su eficacia está limitada por la incapacidad actual de las máquinas para explicar sus decisiones y acciones a los usuarios humanos. Por lo tanto, no son adecuados si lo que se necesita es comprender las relaciones o la causalidad; en la mayoría de los casos funcionan bien cuando sólo se necesitan predicciones. Lo que debería, en principio, limitar sus dominios de aplicación – aunque de momento, escandalosamente, no lo hace.
El aprendizaje a máquina es la sensación tecnológica du jour y los gigantes de la tecnología lo están desplegando en todas sus operaciones. Cuando el jefe de Google, Sundar Pichai, declara que Google planea tener «IA en todas partes», lo que quiere decir es «ML en todas partes». Para corporaciones como la suya, los atractivos de la tecnología son muchos y variados. Después de todo, en el último decenio, el aprendizaje automático ha permitido la autoconducción de automóviles, el reconocimiento práctico del habla, una búsqueda más potente en la web, e incluso una mejor comprensión del genoma humano. Y mucho más.
Debido a su capacidad de hacer predicciones basadas en observaciones del comportamiento pasado, la tecnología ML es ya tan omnipresente que la mayoría de nosotros la encontramos docenas de veces al día sin darnos cuenta. Cuando Netflix o Amazon te hablan de películas o bienes interesantes, eso es que el ML se está desplegando como un «motor de recomendación». Cuando Google sugiere otros términos de búsqueda que podrías considerar, o Gmail sugiere cómo podría terminar la frase que estás componiendo, eso es ML en acción. Cuando encuentras publicaciones inesperadas pero posiblemente interesantes en tu fuente de noticias de Facebook, están ahí porque el algoritmo de ML que «cura» la fuente ha aprendido sobre tus preferencias e intereses. Lo mismo ocurre con tu feed de Twitter. Cuando de repente te preguntas cómo te las arreglaste para pasar media hora hojeando tu feed de Instagram, la razón puede ser que el algoritmo ML que lo cura sabe el tipo de imágenes que te atrapan.
Las empresas tecnológicas ensalzan estos servicios como bienes públicos no cualificados. ¿Qué podría estar mal con una tecnología que aprende lo que sus usuarios quieren y lo proporciona? ¿Y sin costo alguno? Bastante, como sucede. Tomemos los motores de recomendación. Cuando ves un video de YouTube, ves una lista de otros videos que pueden interesarte en la parte derecha de la pantalla. Esa lista ha sido curada por un algoritmo de aprendizaje automático que ha aprendido lo que le ha interesado en el pasado, y también sabe cuánto tiempo ha pasado durante esas visitas previas (usando el tiempo pasado como un proxy para el nivel de interés). Nadie fuera de YouTube sabe exactamente qué criterios utiliza el algoritmo para elegir los vídeos recomendados, pero como se trata básicamente de una empresa de publicidad, uno de los criterios será definitivamente: «maximizar la cantidad de tiempo que un espectador pasa en el sitio».
En los últimos años se ha debatido mucho sobre el impacto de tal estrategia de maximización. En particular, ¿incluye a ciertos tipos de usuarios hacia un contenido cada vez más extremista? La respuesta parece ser que sí. «Lo que estamos presenciando», dice Zeynep Tufekci, un prominente estudioso de Internet, «es la explotación computacional de un deseo humano natural: mirar ‘detrás de la cortina’, para profundizar en algo que nos involucra. A medida que hacemos clic y clic, nos dejamos llevar por la excitante sensación de descubrir más secretos y verdades más profundas. YouTube lleva a los espectadores a una madriguera de extremismo, mientras que Google aumenta las ventas de publicidad.»
Lo que también hemos descubierto desde 2016 es que el micro-destino habilitado por los algoritmos de ML desplegados por las empresas de medios de comunicación social ha debilitado o socavado algunas de las instituciones de las que depende el funcionamiento de una democracia. Por ejemplo, ha producido una esfera pública contaminada en la que la mala información y la desinformación compiten con noticias más precisas. Y ha creado cámaras de eco digitales y ha llevado a la gente a teorías de conspiración viral como Qanon y contenidos maliciosos orquestados por potencias extranjeras e ideólogos nacionales.
Los efectos secundarios del aprendizaje por máquina dentro de los jardines amurallados de las plataformas en línea son bastante problemáticos, pero se vuelven positivamente patológicos cuando la tecnología es utilizada en el mundo offline por las empresas, el gobierno, las autoridades locales, las fuerzas de policía, los servicios de salud y otros organismos públicos para tomar decisiones que afectan a la vida de los ciudadanos. ¿Quién debe obtener qué beneficios universales? ¿De quién deberían ser las primas de seguro más pesadas? ¿A quién se le debería negar la entrada al Reino Unido? ¿A quién se le debería acelerar la operación de cadera o de cáncer? ¿Quién debería obtener un préstamo o una hipoteca? ¿Quién debe ser detenido y registrado? ¿De quién son los niños que deben conseguir una plaza en qué escuela primaria? ¿Quién debe obtener una fianza o libertad condicional, y a quién se le debe negar? La lista de decisiones de este tipo para las que se ofrecen soluciones de aprendizaje automático es interminable. Y la lógica es siempre la misma: un servicio más eficiente y rápido; juicios mediante algoritmos imparciales en lugar de humanos prejuiciosos, cansados o falibles; valor por el dinero en el sector público; y así sucesivamente.
El problema principal de este rosado «solucionismo» tecnológico son los ineludibles e intrínsecos defectos de la tecnología. La forma en que sus juicios reflejan los sesgos de los conjuntos de datos en los que se entrenan los sistemas de ML, por ejemplo, que pueden hacer de la tecnología un amplificador de la desigualdad, el racismo o la pobreza. Y encima de eso está su inexplicabilidad radical. Si un algoritmo convencional de estilo antiguo le niega un préstamo bancario, su razonamiento puede explicarse mediante el examen de las reglas incorporadas en su código informático. Pero cuando un algoritmo de aprendizaje automático toma una decisión, la lógica detrás de su razonamiento puede ser impenetrable, incluso para el programador que construyó el sistema. Así que al incorporar el ML en nuestro gobierno público estamos efectivamente sentando las bases de lo que el erudito legal Frank Pasquale advirtió en su libro de 2016 La Sociedad de la Caja Negra.
En teoría, el Reglamento General de Protección de Datos de la UE (GDPR) otorga a las personas el derecho a recibir una explicación sobre la salida de un algoritmo, aunque algunos expertos jurídicos dudan de la utilidad práctica de ese «derecho». Sin embargo, aunque resultara útil, lo esencial es que las injusticias infligidas por un sistema de LD serán experimentadas por los individuos más que por las comunidades. Lo único que el aprendizaje automático hace bien es la «personalización». Esto significa que las protestas públicas contra la inhumanidad personalizada de la tecnología son mucho menos probables, por lo que las manifestaciones del mes pasado contra la salida del algoritmo Ofqual podrían ser una excepción.
Al final la pregunta que tenemos que hacer es: ¿por qué la prisa de Gadarene de la industria tecnológica (y sus impulsores dentro del gobierno) por desplegar la tecnología de aprendizaje por máquina – y en particular sus capacidades de reconocimiento facial – no es una cuestión importante de política pública?
La explicación es que durante varios decenios las elites dirigentes de las democracias liberales han estado hipnotizadas por lo que sólo se puede llamar «excepcionalismo tecnológico», es decir, la idea de que las empresas que dominan la industria son de alguna manera diferentes de los tipos más antiguos de monopolios, y por lo tanto deben estar exentas del escrutinio crítico que normalmente atraería el poder empresarial consolidado.
El único consuelo es que los recientes acontecimientos en los Estados Unidos y la Unión Europea sugieren que tal vez este hipnótico trance regulador puede estar llegando a su fin. Para acelerar nuestra recuperación, por lo tanto, un experimento de pensamiento podría ser útil.
Imagine cómo sería si le diéramos a la industria farmacéutica el margen de maniobra que actualmente otorgamos a las empresas tecnológicas. Cualquier bioquímico inteligente que trabaje para, digamos, AstraZeneca, podría encontrar una nueva molécula sorprendentemente interesante para, digamos, curar el Alzheimer. Luego la pasaría a su jefe, presentaría los dramáticos resultados de los experimentos preliminares a un seminario de laboratorio, después del cual la compañía la pondría en el mercado. Sólo hay que pensar en el escándalo de la Talidomida para darse cuenta de por qué no permitimos ese tipo de cosas. Sin embargo, es exactamente lo que las empresas tecnológicas son capaces de hacer con los algoritmos que resultan tener serios inconvenientes para la sociedad.
Lo que esa analogía sugiere es que estamos todavía en la etapa con las compañías de tecnología que las sociedades estaban en la era de las medicinas de patente y el aceite de serpiente. O, para ponerlo en un marco histórico, estamos en algún lugar entre 1906, cuando la Ley de Alimentos y Medicamentos Puros fue aprobada por el Congreso de los EE.UU., y 1938, el año en que el Congreso aprobó la Ley Federal de Alimentos, Medicamentos y Cosméticos, que exigía que los nuevos medicamentos mostraran seguridad antes de su venta. ¿No es hora de que nos pongamos en marcha?
John Naughton preside el consejo asesor del nuevo Centro Minderoo de Tecnología y Democracia de la Universidad de Cambridge