Los consejos están desechando silenciosamente el uso de algoritmos informáticos para ayudar a tomar decisiones sobre las reclamaciones de beneficios y otras cuestiones de bienestar, según ha descubierto el Guardian, ya que los críticos piden más transparencia sobre cómo se están utilizando esas herramientas en los servicios públicos.
Se trata de un experto que advierte que las razones para cancelar programas entre los organismos gubernamentales de todo el mundo van desde problemas en la forma en que funcionan los sistemas hasta preocupaciones sobre el sesgo y otros efectos negativos. La mayoría de los sistemas se implementan sin consultar al público, pero los críticos dicen que esto debe cambiar.
El uso de la inteligencia artificial o de la toma de decisiones automatizada se ha puesto de manifiesto después de que un algoritmo utilizado por el regulador de exámenes Ofqual bajara casi el 40% de las notas de nivel A evaluadas por los profesores. Esto culminó en un humillante giro de gobierno y el sistema fue desechado.
El fiasco ha llevado a los críticos a pedir más escrutinio y transparencia sobre los algoritmos que se utilizan para tomar decisiones relacionadas con los casos de bienestar, inmigración y asilo.
The Guardian ha encontrado que unos 20 consejos han dejado de usar un algoritmo para señalar las reclamaciones como de «alto riesgo» para un posible fraude de bienestar. Los que marcaron fueron sacados por el personal para comprobarlos, potencialmente retrasando las reclamaciones de la gente sin que ellos lo supieran.
Investigaciones anteriores del Guardian encontraron que uno de cada tres consejos usaban algoritmos para ayudar a tomar decisiones sobre reclamos de beneficios y otros asuntos de bienestar.
La investigación del Laboratorio de Justicia de Datos de Cardiff (CDJL), en colaboración con el Carnegie UK Trust, ha estado buscando programas de algoritmos cancelados.
Según ellos, el consejo de Sunderland ha dejado de usar uno que fue diseñado para ayudarle a hacer ahorros de 100 millones de libras.
Su investigación también encontró que el consejo de Hackney en el este de Londres había abandonado el uso de análisis de datos para ayudar a predecir qué niños estaban en riesgo de abandono y abuso.
El Laboratorio de Justicia de Datos encontró que al menos otros dos consejos habían dejado de utilizar un sistema de verificación basado en el riesgo, que identifica las solicitudes de beneficios que tienen más probabilidades de ser fraudulentas y que pueden necesitar ser comprobadas.
Un consejo encontró que a menudo identificaba erróneamente las reclamaciones de bajo riesgo como de alto riesgo, mientras que otro encontró que el sistema no marcaba una diferencia en su trabajo.
La Dra. Joanna Redden del Laboratorio de Justicia de Datos dijo: «Estamos encontrando que la situación experimentada aquí con la educación no es única… los sistemas de decisión algorítmicos y predictivos están llevando a una amplia gama de daños a nivel mundial, y también que un número de organismos gubernamentales de diferentes países están deteniendo o cancelando su uso de este tipo de sistemas.
«Las razones de la cancelación van desde problemas en la forma en que funcionan los sistemas hasta preocupaciones sobre los efectos negativos y el sesgo. Estamos en el proceso de identificar patrones, pero un factor recurrente tiende a ser la falta de consulta con el público y en particular con aquellos que se verán más afectados por el uso de estos sistemas automatizados y de predicción antes de implementarlos».
El Ministerio del Interior dejó recientemente de utilizar un algoritmo para ayudar a decidir las solicitudes de visado después de las acusaciones de que contenía «racismo arraigado». La organización benéfica Consejo Conjunto para el Bienestar de los Inmigrantes (JCWI) y el grupo de derechos digitales Foxglove lanzaron un desafío legal contra el sistema, que fue desechado antes de que el caso fuera a la corte.
Foxglove lo caracterizó como «embarque rápido para blancos» pero el Ministerio del Interior dijo que no aceptaba esa descripción. «Hemos estado revisando el funcionamiento de la herramienta de racionalización de la solicitud de visado y vamos a rediseñar nuestros procesos para hacerlos aún más racionales y seguros», añadió el Ministerio del Interior.
Martha Dark, la directora y cofundadora de Foxglove, dijo: «Recientemente hemos visto al gobierno desplegando algoritmos como soluciones a todo tipo de problemas sociales complicados. No son sólo las calificaciones de nivel A… La gente está siendo clasificada y calificada, se le niegan visas, beneficios y más, todo debido a los algoritmos defectuosos».
Dijo que los sistemas mal diseñados podían dar lugar a discriminación, y añadió que tenía que haber un debate democrático y una consulta con el público sobre cualquier sistema que afectara a sus vidas antes de que se pusiera en práctica. «Estos sistemas tienen que ser transparentes, para que se pueda identificar y detener el sesgo».
Las fuerzas policiales están experimentando cada vez más con el uso de la inteligencia artificial o la toma de decisiones automatizada.
El asesor estratégico de la policía de West Midlands y del comisionado de criminalidad, Tom McNeil, dijo que estaba «preocupado» de que las empresas estuvieran lanzando algoritmos a las fuerzas policiales sabiendo que sus productos podrían no ser debidamente escrutados.
McNeil dijo: «En las West Midlands, tenemos un comité de ética que examina enérgicamente y publica recomendaciones sobre proyectos de inteligencia artificial. Tengo razones para creer que el proceso robusto y transparente que tenemos en West Midlands puede haber disuadido a algunas organizaciones de ciencia de datos de involucrarse más con nosotros».
Una investigación de la Sociedad Real de las Artes publicada en abril encontró que al menos dos fuerzas estaban usando o probando la inteligencia artificial o la toma de decisiones automatizadas para ayudarles a identificar los focos de delincuencia: la policía de Surrey y la de West Yorkshire.
Otros que utilizan algoritmos de una forma u otra son la Met, la policía de Hampshire, la policía de Kent, la policía de Gales del Sur y la policía del Valle del Támesis.
Asheem Singh, el director de economía de la RSA, dijo: «Muy pocos policías consultaron con el público. Tal vez se está haciendo un gran trabajo, pero las fuerzas policiales no quieren hablar de ello. Eso es preocupante. Estamos hablando de fórmulas de caja negra que afectan a los medios de vida de las personas. Esto requiere toda una arquitectura de democracia que no hemos visto antes.»
Sin consulta «el principio de vigilancia por consentimiento se va por la ventana», añadió Singh.
El Consejo del Jefe de la Policía Nacional dijo que no podía hacer comentarios.
El Centro para la Ética e Innovación de los Datos, un órgano asesor independiente, está examinando el posible sesgo de los algoritmos. «Nuestro examen formulará recomendaciones sobre la forma en que las fuerzas policiales y las autoridades locales que utilizan el análisis predictivo son capaces de cumplir las normas adecuadas de gobernanza y transparencia para los desafíos que enfrentan estos sectores», dijo.
