A medida que las agencias gubernamentales implementan cada vez más nuevas tecnologías, que van desde la inteligencia artificial hasta la toma de decisiones basada en datos, los defensores dicen que el liderazgo del sector público debe ser consciente del potencial para reforzar los prejuicios e inequidades preexistentes.
La conversación sobre el sesgo tecnológico del sector público ciertamente no es nueva. Sin embargo, durante muchos años se ha enmarcado principalmente en el contexto de la aplicación de la ley. Han surgido preocupaciones en torno a la vigilancia gubernamental que se remonta básicamente a cuando se implementaron por primera vez las tecnologías de vigilancia como grabadoras y cámaras. En los últimos años, esa conversación en curso ha evolucionado para incluir tecnologías más nuevas, específicamente inteligencia artificial y reconocimiento facial, que culminó con un panel de las Naciones Unidas que emitió una advertencia de derechos humanos sobre el tema a fines de 2020.
La principal advertencia del panel fue esencialmente que las máquinas también pueden estar equivocadas, y los algoritmos pueden reforzar inadvertidamente sesgos que han existido durante mucho tiempo. Ahora, a medida que las agencias en todos los niveles del gobierno comienzan a usar la tecnología para resolver desafíos fuera de la aplicación de la ley, ese mismo potencial se acompaña de ellos, dicen los expertos.
Esto incluye departamentos de vivienda que usan datos hipotecarios influenciados por líneas rojas, personal de adquisiciones que compra productos que no están sujetos a las mismas regulaciones que el gobierno y departamentos de comunicaciones que crean visualizaciones sin examinarlas con estándares de lenguaje equitativo en rápida evolución.
Sin embargo, a medida que este potencial evoluciona, también hay un conjunto de soluciones en evolución para los tecnólogos del sector público comprometidos con el trabajo equitativo. Pero primero es importante también ser consciente de cómo las desigualdades existentes desde hace mucho tiempo se pueden reforzar con la tecnología.
Los riesgos
Samara Trilling trabaja como ingeniera de software del personal del grupo de tecnología de justicia de la vivienda de la ciudad de Nueva York, JustFix.nyc, y también ha sido miembro del Aspen Tech Policy Hub, donde trabajó en relación con la regulación de algoritmos para decisiones hipotecarias en línea.
Las hipotecas y la vivienda son un excelente ejemplo de cómo la tecnología puede reforzar los prejuicios existentes.
«Si alimenta los datos históricos de los algoritmos de aprendizaje automático y trata de tomar una decisión basada en esos datos pasados», dijo Trilling, «reforzará los sesgos tradicionales que vemos en el mundo».
Lo que parece específicamente es que menos familias de comunidades desatendidas están aprobadas para hipotecas, a menudo por motivos raciales debido a prácticas históricas de restricción. Si bien muchos lugares ahora tienen leyes para protegerse contra dicha discriminación, es posible que los datos para los algoritmos de toma de decisiones sean anteriores a esas leyes. También existe un riesgo en los algoritmos que dependen en gran medida de las puntuaciones de crédito, que también tienen un historial de discriminación.
Dada la naturaleza poderosa de la inteligencia artificial y el aprendizaje automático, señaló Trilling, las personas pueden tener una tendencia general a no aplicar el pensamiento crítico al lugar de donde esas tecnologías extraen sus datos. Lo que esto significa es que, si bien el juicio de un ser humano individual puede ser cuestionado o analizado, es posible que una decisión impulsada por una máquina no lo sea, incluso si toma esa decisión basándose en datos recopilados con un sesgo humano.
Todo esto es algo que los desarrolladores deberían tener en cuenta.
“El sesgo de datos puede infiltrarse en cada paso del proceso cuando se está construyendo una nueva herramienta tecnológica”, dijo Trilling.
Las recopilaciones de datos modernas también pueden estar sesgadas, porque algunas poblaciones evitan compartir información con las estructuras de poder debido a una larga historia de desconfianza. Esto significa que incluso las operaciones de recopilación de datos realizadas de buena fe pueden verse sesgadas por omisiones. Otra era de problemas potenciales es la contratación, especialmente si las jurisdicciones no responsabilizan a los proveedores externos por la discriminación de la misma manera que el gobierno.
Por último, los tecnólogos del sector público también deben ser muy conscientes de los posibles sesgos cuando comunican el trabajo al público, dijo Jonathan Schwabish, investigador principal del Centro de Políticas de Ingresos y Beneficios del Urban Institute. Schwabish fue uno de los autores de la Guía de No Hacer Daño, que, como su nombre lo indica, busca distribuir información sobre cómo la narración de datos no puede hacer daño.
Lo que esto significa para el gobierno, dijo Schwabish, es en gran medida dedicar más tiempo a pensar y recopilar datos sobre cómo las personas quieren ser descritas y visualizadas dentro de la narración de datos. Significa conocerlos también en sus idiomas nativos y, en general, invertir un esfuerzo para garantizar que este trabajo sea acogedor para todos en los términos que entienden y prefieren.
En lo que respecta a las comunicaciones, es posible que el gobierno no se arriesgue a perder clientes de la forma en que lo haría una empresa del sector privado, dijo Schwabish, pero sí se arriesga a alienar a las mismas personas a las que deben servir, creando innumerables desafíos en el futuro.
“Deberíamos pensar más detenidamente en estos temas como comunicadores de datos”, dijo. «Si usted es alguien que comunica datos y envía información al mundo, ¿cómo puede ser más inclusivo y equitativo en la forma de hacerlo?»
Soluciones y mejores prácticas
A medida que los riesgos y las preocupaciones continúan evolucionando y proliferando, también lo hacen las soluciones y las mejores prácticas para evitar sesgos e inequidades en el trabajo tecnológico del sector público.
«Aliento al gobierno a pensar en realizar un análisis de impacto racial», dijo Tina Walha, quien recientemente se unió a la Respuesta Digital de EE. UU. (USDR) como directora de digital pública después de haber pasado seis años en la oficina del alcalde de Seattle trabajando en la intersección de productos digitales. y diseño.
Tal estudio podría plantear preguntas como ¿cuáles son las implicaciones de esta tecnología? ¿Quién se beneficia del uso de esta tecnología? ¿Cuáles son algunas de las consecuencias no deseadas de esta tecnología? Y similares.
Además de un análisis formalizado, Walha dijo que es importante en los niveles más altos del gobierno presentar principios rectores claramente articulados. Antes incluso de profundizar en el uso de la tecnología, el gobierno ya debería haber considerado cómo sus objetivos se alinean con la equidad, la accesibilidad, la comunidad y los valores asociados.
También es útil, señaló, incorporar a los responsables de la formulación de políticas y que estén bien informados sobre cómo funciona realmente la recopilación y aplicación de datos.
Pero incluso más importante que incorporar a los responsables de la formulación de políticas en este trabajo es incorporar a miembros de la comunidad que se verán directamente afectados por él. Este fue un punto del que se hizo eco Jessie Posilkin, asesora principal del USDR que dirige el Programa de Estabilidad Económica.
Las prácticas de diseño centradas en el ser humano, que se están volviendo cada vez más comunes en el trabajo de tecnología del sector público, son una excelente manera de lograr esto. El diseño centrado en el ser humano se centra intensamente en las necesidades del demandante, trabajando para averiguar qué datos son necesarios para ayudar realmente, al mismo tiempo que determina qué datos pueden parecer innecesarios o insensibles para las personas reales, independientemente de lo que el gobierno haya identificado como sus propias necesidades en un escenario dado. .
“Con todos los problemas de tecnología, es muy importante ver cuál es el problema real para un reclamante o los residentes donde sea que se encuentre”, dijo Posilkin. “No solo tiene que ser material de imagen grande, sino que, a medida que lo construye, llévelo a las personas que lo van a usar”.
Volviendo al tema de las adquisiciones, este también debería ser un enfoque que también adopten los proveedores del sector público. También hay grupos sin fines de lucro que trabajan en el espacio para combatir los sesgos de la tecnología y los datos, grupos como Data for Black Lives y el Ida B. Wells Just Data Lab de la Universidad de Stanford.
Sin embargo, una vez más, quizás la medida preventiva más importante que puede tomar el gobierno es permanecer consciente de que la tecnología tiende a trasladar los sesgos implícitos de quienes la crean. Entonces, si la mayoría de los tecnólogos que trabajan en un proyecto son un cierto tipo de persona, el trabajo que producen puede no reflejar la totalidad de la comunidad, que es lo que el gobierno tiene la tarea de servir.
Tecnología gubernamental es un sitio hermano de Gobernante. Ambas son divisiones de e.Republic.
