Los servicios algorítmicos de la India: cuando la inteligencia artificial decide quién obtiene el bienestar

Imagen: Shutterstock

CEl capítulo 4 del Estudio económico 2018-19 establece una hoja de ruta ambiciosa para que el gobierno de la India utilice datos «de la gente, por la gente y para la gente». Parte del informe está dedicado a elogiar la iniciativa Samagra Vedika del gobierno de Telangana, descrita como un esquema que integra datos en bases de datos gubernamentales.El gobierno de Telangana afirma que el sistema Samagra Vedika utiliza una serie de tecnologías que pueden describirse como ‘inteligencia artificial’ o IA: utiliza ‘big data’ y sistemas complejos de aprendizaje automático para hacer predicciones sobre el comportamiento de las personas, y utiliza estos análisis predictivos para en última instancia, tramitar las solicitudes de planes de asistencia social. Más específicamente, Samagra Vedika se ha utilizado para identificar la elegibilidad de los beneficiarios de la asistencia social y eliminar a los beneficiarios potencialmente fraudulentos o duplicados. Según su propia descripción, en 2016, el uso del sistema Samagra Vedika para eliminar las llamadas tarjetas de racionamiento fraudulentas llevó a la cancelación de 100.000 cartas. Posteriormente, los documentos gubernamentales describen la ‘resistencia pública’ a la cancelación, lo que llevó a que se volvieran a agregar 14.000 tarjetas. Si bien los gobiernos de todos los niveles elogian la reducción de costos y la eficiencia de las aplicaciones basadas en inteligencia artificial como Samagra Vedika en contextos de recursos limitados como la administración de asistencia social en India, guardan silencio sobre las implicaciones más amplias del uso de estos sistemas para hacer políticas fundamentales y administrativas. Samagra Vedika es solo uno de los diversos tipos de tecnologías de ‘IA’ que se utilizan en la administración gubernamental en la actualidad. Desde decisiones políticas sobre la gestión de los viajes urbanos y la asignación de patrullas policiales hasta la toma de decisiones sobre los derechos individuales para los planes de asistencia social o la deliberación de disputas sobre el impuesto sobre la renta, las agencias administrativas en la India están recurriendo rutinariamente a la automatización y la inteligencia artificial para ayudar, automatizar o incluso reemplazar por completo la agencia humana involucrada en estos Es importante estudiar las implicaciones de los sistemas de IA contemporáneos debido a su uso de múltiples fuentes de datos, complejas lógicas estadísticas y computacionales para analizar y procesar estos datos, y su creciente uso en decisiones con consecuencias sociales. Los enredos de la administración gubernamental y la IA están cambiando fundamentalmente la naturaleza de la gobernanza y la relación entre el ciudadano y el estado. Equidad, transparencia y rendición de cuentas Quizás la mayor preocupación que plantea AI para la administración del gobierno es con respecto a los valores públicos de transparencia, rendición de cuentas y participación democrática. La toma de decisiones administrativas se rige por principios de transparencia y rendición de cuentas, destinados a controlar las acciones ejecutivas arbitrarias. Sin embargo, cuando las decisiones administrativas son usurpadas por sistemas que usan datos y análisis algorítmicos complejos, por ejemplo, al usar sistemas ‘basados ​​en datos’ para decidir cómo asignar los recursos policiales, el sistema usa una lógica de razonamiento para tomar decisiones políticas que son inmediatas. interpretable o transparente, y que no se puede interrogar fácilmente para analizar su razonabilidad o equidad. Incluso si se espera que un sistema de inteligencia artificial cumpla con reglas y lógicas específicas, estas reglas se transforman inevitablemente en el proceso de codificación en un software. El aprendizaje automático agrava aún más estos problemas, ya que la lógica del sistema cambia constantemente y el uso de múltiples puntos de datos de varias fuentes oscurece una interrogación sobre si el uso de un tipo particular de datos fue relevante, razonable o justo. En el contexto del uso de ‘Big Data’ para decidir la elegibilidad para el bienestar en el esquema Samagra Vedika, por ejemplo, la elección de usar puntos de datos particulares para juzgar el estado de una persona es una cuestión de política ejecutiva, pero ha sido decidida por AI. Además, el concepto de ‘justicia natural’ y el debido proceso establece garantías procesales específicas para garantizar que las decisiones tomadas sean justas y responsables. Estos incluyen el requisito de dar aviso, el deber de proporcionar una explicación y la justificación de una decisión. Sin embargo, el uso de la inteligencia artificial en los procesos de toma de decisiones nuevamente altera fundamentalmente la forma en que se deben aplicar la justicia natural y las garantías procesales. Las decisiones tomadas con el uso de IA no siempre son interpretables o explicables de una manera que permita que las personas afectadas las comprendan y las refuten. Además, en ausencia de una ley y una política específicas sobre decisiones automatizadas en la India, no existe una forma estructural de hacer cumplir estas obligaciones. Se han observado fallas de tales protecciones en varios casos en los que las agencias gubernamentales están usando IA o sistemas algorítmicos, desde la denegación de beneficios usando Aadhaar hasta la cancelación de tarjetas de identificación de votantes usando el sistema algorítmico NERPAP por parte de la Comisión Electoral de la India. También es necesario tener en cuenta las transformaciones políticas y económicas provocadas por el uso de la IA en la administración. La mayoría de las aplicaciones de la IA en la administración se obtienen mediante la adquisición de tecnologías de IA de proveedores privados, ya sean los datos que se utilizan o los procesos algorítmicos y el software. Al hacerlo, las agencias están subcontratando no solo la creación de tecnologías, sino también el proceso de toma de decisiones de políticas por sí mismos, a proveedores privados, que actualmente no están guiados por ninguna obligación de hacer tecnologías cuyos resultados sean justos, transparentes, responsables y participativos en formas que se ajustan a los valores democráticos. ¿Qué implica esto para el futuro del estado administrativo automatizado? Primero, los gobiernos deben actuar con cuidado al considerar la aplicación de IA, Big Data y análisis predictivo para tomar decisiones consecuentes, y estar atentos a las limitaciones y consecuencias del uso de estos sistemas. En segundo lugar, existe una necesidad urgente de revisar y replantear la aplicación de los principios de la toma de decisiones justa y razonable bajo el derecho administrativo de la India, tanto por los tribunales como a través de mecanismos regulatorios, tales como la creación de requisitos de notificación y debido proceso para el uso de Toma de decisiones basada en IA (por ejemplo, el Reglamento General de Protección de Datos de la UE), o mediante la creación de procesos para intervenir en la adquisición de sistemas de IA (como lo intenta la Política de IA Segura y Ética de Tamil Nadu). A medida que el gobierno avanza en el desarrollo de sus políticas para la ‘IA ética’, debe tener en cuenta cómo el uso de la IA en este contexto crucial del estado administrativo puede garantizar que los valores democráticos importantes no se vean comprometidos.