Los expertos en privacidad y vigilancia dicen que son cautelosamente optimistas sobre un borrador de política que describe cómo la policía de Toronto podrá usar sistemas de inteligencia artificial (IA), pero agregan que el diablo está en los detalles.
Ese borrador de política, publicado por la Junta de Servicios de Policía de Toronto (TPSB), se encuentra ahora abierto a consulta pública hasta el 15 de diciembre.
En un comunicado de prensa, la TPSB dice que la política tiene como objetivo garantizar que el Servicio de Policía de Toronto (TPS) utilice la inteligencia artificial de una manera que sea «justa, equitativa y que no viole la privacidad u otros derechos de los miembros del público». El comunicado también afirma que es la primera política de este tipo entre las juntas o comisiones de la policía canadiense.
«Estamos viendo algo que está tratando de adaptarse a un área de crecimiento masivo antes de que sea muy común, y eso es exactamente lo que deberíamos estar haciendo», dijo David Murakami Wood, director del Centro de Estudios de Vigilancia de la Universidad de Queen.
Si bien buscar la opinión del público es un cambio bienvenido hacia la rendición de cuentas y la transparencia, los expertos reconocen que el uso de la inteligencia artificial aún podría ser perjudicial, particularmente para las comunidades marginadas.
«Los sistemas basados en inteligencia artificial se pueden utilizar para analizar y extraer ‘inferencias’ de los datos», dijo Kristen Thomasen, profesora asistente en funciones de la Facultad de Derecho Peter A. Allard de la Universidad de Columbia Británica.
«Pero en ese proceso, el sistema descontextualiza mucho lo que está haciendo».
Ella advierte que esos sistemas podrían tomar decisiones sobre individuos o comunidades sin considerar los mismos contextos sociales, como la frecuencia o la ubicación del crimen, que un ser humano. Eso podría, por ejemplo, resultar en áreas de vigilancia excesiva que histórica y desproporcionadamente han sido blanco de las fuerzas del orden.
«El problema es que los datos que ingresan a estos sistemas ya se recopilan en contextos que ya están sesgados. A menudo, ya están en sí mismos, incluso si son sutilmente o menos sutilmente, sesgados de varias maneras», dijo Murakami Wood.
«Contiene décadas, en algunos casos, de formas previas de sesgo y los resultados de formas previas de sesgo, que en sí mismos no se consideran necesariamente sesgados».
VER | Incapacidad de la IA para reconocer el lenguaje racista
La inteligencia artificial se utiliza para aplicaciones de traducción y otro software. El problema es que la tecnología es incapaz de diferenciar entre términos legítimos y términos que pueden ser parciales o racistas. 2:27
El borrador de la política incluye múltiples niveles de riesgo
El borrador de la política de TPSB incluye una evaluación de cinco niveles para determinar el riesgo de ciertos sistemas de IA en el público.
La tecnología de reconocimiento facial que utiliza datos de fuentes ilegales que tienen la capacidad de vigilancia masiva de ciudadanos se consideraría un riesgo extremo, por ejemplo. Según el borrador de la política, las tecnologías consideradas de riesgo extremo no serían aprobadas para su uso por TPS.
Los escenarios altos pueden incluir tecnología de análisis que proporcione datos sobre dónde se debe desplegar la policía para «maximizar la supresión del crimen». Un sistema de análisis de tráfico que hace recomendaciones sobre las ubicaciones en las que se debe implementar la policía podría considerarse de riesgo medio. Ambos niveles de riesgo estarían sujetos a evaluaciones y consultas, requerirían un plan de mitigación de riesgos y necesitarían la aprobación de la junta de policía.
Los escenarios de riesgo bajo y mínimo pueden incluir software que transcribe audio de cámaras corporales usadas por la policía o sistemas de traducción que brindan información del sitio web en varios idiomas, respectivamente. La tecnología de bajo riesgo se informará a la junta y la información sobre su aplicación se pondrá a disposición del público.
El borrador de la política también incluye una disposición para reevaluar el riesgo en un horario, una medida que Murakami Wood aplaude.
«[An AI application] En realidad, podría no ser solo un riesgo moderado en la práctica «, dijo Murakami Wood.» Después de todo, puede llegar a encajar en la categoría de riesgo extremo, y luego hay un proceso para eliminar esas cosas nuevamente «.
Cuando se le pidió una declaración sobre los tipos de tecnología de inteligencia artificial que el servicio planea usar, la portavoz de TPS, Connie Osborne, dijo a CBC Radio Día 6 por correo electrónico, la fuerza «esperará el aporte de la consulta pública y la retroalimentación antes de cualquier paso siguiente».
Otras fuerzas policiales estarán observando, dice experto
Actualmente no existe una regulación de las tecnologías de IA a nivel provincial o federal. Tanto Murakami Wood como Thomasen dicen que el movimiento para desarrollar una política de inteligencia artificial por parte de la Junta de Servicios de Policía de Toronto podría estar motivado por la reacción a la compra de Clearview AI, un sistema de reconocimiento facial, por parte de los servicios policiales de Canadá.
A principios de este año, los comisionados de privacidad canadienses encontraron la empresa detrás de la tecnología violó la ley de privacidad canadiense mediante la realización de una vigilancia masiva mediante la recopilación de fotografías de canadienses sin su consentimiento.
«Lo que hace Clearview es vigilancia masiva y es ilegal», dijo el comisionado federal de privacidad Daniel Therrien en febrero.
Thomasen dijo que se sintió alentada de que el borrador de la política reconozca la importancia de la transparencia y el escrutinio cuidadoso de cualquier sistema de inteligencia artificial que sería utilizado por una fuerza policial.
Pero se necesitan más detalles sobre la política para comprender qué tan efectiva será.
«¿Quién va a estar realmente involucrado en estas evaluaciones? Porque si se tratara de alguien en la oficina de la Junta de Servicios de Policía de Toronto que no tiene ninguna experiencia en particular en esto … no estaría tan seguro de que esto sería un problema. buen proceso, como si tuvieran un consejo asesor externo especialmente especializado en ética de la IA «, dijo Murakami Wood.
Después de la consulta pública, la Junta de Servicios de Policía de Toronto dice que se presentará una política final para su aprobación en su reunión de febrero de 2022.
«Sospecho que las otras juntas policiales estarán observando esto con cierta cautela porque no espero que muchos de ellos quieran hacer esto, pero si sale bien y parece ser popular, es posible que sigan a Toronto», dijo. Madera de Murakami.
Escrito por Jason Vermes. Entrevista a Kristen Thomasen producida por Sameer Chhabra.