El gobierno de Nueva Zelanda dice que es el primero en el mundo en producir un conjunto de normas para que los organismos públicos utilicen los algoritmos que cada vez más impulsan la toma de decisiones por parte de los funcionarios sobre cada área de la vida pública.
La creciente aplicación de algoritmos por parte de los gobiernos de todo el mundo -en particular cuando se despliegan para perfilar o generar decisiones sobre los ciudadanos por parte de los organismos encargados de la aplicación de la ley, la inmigración, el bienestar y la salud- ha resultado controvertida en los últimos años. Los críticos afirman que la toma de decisiones impulsada por líneas de código puede ser inexacta y discriminatoria y que su uso suele mantenerse en secreto para el público.
Un tribunal holandés dictaminó en febrero que un sistema de vigilancia automatizado para detectar fraudes en el ámbito de la asistencia social era ilegal, decisión que provocó un debate sobre la necesidad de un mayor escrutinio en otras naciones.
Nueva Zelanda no es una excepción: un examen de 2019 sobre el uso de algoritmos en el sector público había encontrado «una enorme variabilidad en cuanto a la amplitud del uso y la forma en que se utilizaban», dijo James Shaw, el ministro de estadística y colíder del partido verde de izquierda.
Dijo que los algoritmos determinaban asuntos desde los aparentemente inocuos – como cuando los semáforos cambiaron en una calle central de Wellington – hasta los más serios, incluyendo la toma de decisiones de la policía para los oficiales de primera línea, y su uso se estaba expandiendo.
La carta de Nueva Zelanda, que el Guardian ha visto, debía ser lanzada el martes con 19 agencias gubernamentales como firmantes iniciales. En ella, los departamentos se comprometen a ser públicamente transparentes acerca de cómo la toma de decisiones es impulsada por los algoritmos, incluyendo el dar explicaciones «en lenguaje claro»; a poner a disposición información sobre los procesos utilizados y cómo se almacenan los datos a menos que esté prohibido por la ley (como por razones de seguridad nacional); y a identificar y manejar los sesgos que informan a los algoritmos.
Los organismos también deben considerar te ao Māori, o la visión indígena del mundo sobre la recopilación de datos -en Nueva Zelandia, Māori están representados de manera desproporcionada en el sistema judicial y penitenciario- y consultar con los grupos afectados por sus ecuaciones.
«Parte de ello se debe a que la gente es cada vez más consciente del funcionamiento de Facebook y de la medida en que nuestras vidas se ven moldeadas por el uso y la manipulación de los datos», dijo Shaw, refiriéndose a la forma en que las empresas de medios de comunicación social utilizan algoritmos para dirigir a los usuarios hacia el contenido. «Esta es una parte realmente importante para construir la confianza pública en las instituciones gubernamentales».
Entre los departamentos comprometidos con la carta figuran el plan de indemnización por accidentes de Nueva Zelandia -que fue criticado en 2017 por utilizar algoritmos para detectar el fraude entre los que figuran en sus libros- y el organismo correccional, que ha desplegado algoritmos para determinar el riesgo de reincidencia de un recluso. La agencia de inmigración, que en marzo se descubrió que hacía perfiles de los solicitantes por medio de algoritmos, también es signataria.
Sin embargo, otros organismos que han sido objeto de casos de alto perfil en los que los críticos denunciaron el uso de algoritmos -incluyendo la policía, que fue atacada por defensores de la privacidad en 2019 por introducir la tecnología de reconocimiento facial sin anunciarlo, y las agencias de espionaje del país- no se encontraban entre los firmantes.
Un portavoz de la oficina de Shaw dijo que ninguna agencia había descartado el estatuto y que se esperaba que otros lo firmaran más tarde.
Las normas no incluyen un mecanismo de ejecución. Shaw dijo que esperaba que en el plazo de unos meses los organismos que habían firmado la carta proporcionaran información en sus sitios web explicando cómo se utilizaban los algoritmos, incluso suministrando el código fuente, y que si no lo hacían, el público podría exigirlo.
Colin Gavaghan, profesor de derecho de la Universidad de Otago, participó en la revisión de 2019 que sugirió un regulador independiente para supervisar el uso de los algoritmos por parte de los organismos, una medida que el gobierno no ha incluido en su carta. Dijo que había «mucho que gustar» en las nuevas normas y esperaba que pudieran servir de modelo para otros gobiernos.
«Como siempre, el diablo está en los detalles y eso significa la implementación», dijo. «Seguimos pensando que una especie de organismo de supervisión y regulación que debería tener un mandato de todo el gobierno parece una buena idea».
Gavaghan elogió un punto de la carta que exigía que los organismos ofrecieran un canal para apelar contra las decisiones informadas por los algoritmos, pero añadió que «la gente podría no saber siempre» que había sido objeto de tales decisiones, incluso con arreglo a las nuevas normas.
Shaw dijo que creía que el documento era una primicia mundial – ningún otro gobierno había producido normas que cubrieran todos los algoritmos utilizados por cada agencia firmante.
– Este artículo fue enmendado el 29 de julio de 2020. Debido a una omisión en el material suministrado por el gobierno, una versión anterior decía que la agencia de inmigración no estaba entre los firmantes de la carta del algoritmo. El Ministerio de Innovación Empresarial y Empleo, que incluye a la agencia de inmigración, no había respondido a una solicitud de aclaración antes de la publicación. De hecho, el ministerio ha firmado la carta.
