La Comisión Europea publica el esperado proyecto de Reglamento sobre inteligencia artificial: cuestiones de privacidad

Andrew Dyson, Ewa Kurowska-Tober y Heidi Waem

El 21 de abril de 2021, la Comisión Europea publicó el tan esperado propuesta para Reglamento sobre inteligencia artificial[1](«Regulación AI”).

La propuesta de Reglamento sobre IA introduce un marco normativo armonizado, completo y único en su tipo para la inteligencia artificial. La ambición es proporcionar la seguridad jurídica necesaria para facilitar la inversión y la innovación en IA y, al mismo tiempo, establecer un marco para salvaguardar los derechos fundamentales y garantizar que las aplicaciones de IA se utilicen de forma segura. La construcción basada en el riesgo del proyecto de reglamento resonará con aquellos familiarizados con el régimen CE que regula, por ejemplo, seguridad y privacidad de los productos (RGPD), dadas las señas de identidad: armonización de normas bajo una única regulación, efecto extraterritorial, multas basadas en la facturación y enfoque en controles proactivos sobre transparencia, gestión de riesgos y responsabilidad demostrable. Si bien el texto propuesto del Reglamento sobre IA es solo el primer paso de un largo proceso legislativo, nos brinda una importante perspectiva temprana del modelo que la UE está buscando adoptar.

Ámbito material y territorial

El Reglamento de IA adopta una amplia reglamentación alcance, que cubre todos los aspectos del ciclo de vida del desarrollo, la venta y el uso de sistemas de inteligencia artificial, incluidos:

(i) comercialización de sistemas de IA;

(ii) puesta en servicio de sistemas de IA; y

(iii) hacer uso de sistemas de IA.

Todos aquellos involucrados en llevar a cabo estas actividades, ya sea como proveedor, usuario, distribuidor, importador o revendedores, estarán sujetos a un nivel de escrutinio regulatorio. Esto también se extiende a los proveedores o usuarios de sistemas de IA que se encuentran fuera de la UE si están poniendo en servicio sistemas de IA en la UE o utilizando los resultados derivados de los sistemas de IA que operan en la UE. Aquí hay paralelismos con el efecto extraterritorial del RGPD.

Existe una clasificación de los requisitos reglamentarios en función del riesgo inherente asociado con el sistema o las prácticas de IA que se están utilizando. Estos se explican con más detalle a continuación:

Prácticas prohibidas de IA. En el nivel más alto de riesgo están las prácticas de IA prohibidas. Estos son métodos particularmente intrusivos para desplegar IA que la UE ha determinado que no debe permitirse, e incluyen la IA utilizada para la puntuación social; vigilancia a gran escala; influencia adversa del comportamiento.
Sistemas de IA de alto riesgo. El Reglamento de IA crea un nivel separado de sistemas de IA de alto riesgo. Estas son tecnologías que se prevé que presenten un riesgo significativo de daño y, por lo tanto, se permiten solo de manera restringida, con controles específicos establecidos para respaldar un uso seguro. La lista de sistemas de IA de alto riesgo (que la Comisión Europea puede ampliar a su debido tiempo) cubre una amplia gama de aplicaciones, incluidos los sistemas de IA implementados en relación con la calificación crediticia; infraestructura pública esencial; bienestar social y justicia; dispositivos médicos y otros dispositivos regulados; sistemas de transporte.

Sistemas de IA de menor riesgo. Los sistemas de inteligencia artificial que están fuera del alcance de los identificados como «de alto riesgo» y no se implementan para una práctica prohibida, están sujetos a un régimen de transparencia.

Definición de sistema de IA

La definición de un sistema de IA pretende ser tecnológicamente neutro y preparado para el futuro, al tiempo que proporciona seguridad jurídica. Se basa en la Recomendación de la OCDE de 2019 sobre inteligencia artificial y cubre:

Software;
Desarrollado con uno o más de los especificados técnicas y enfoques en el anexo I del Reglamento AI (que la Comisión puede modificar con el tiempo mediante actos delegados). Actualmente estas técnicas incluyen:
- Enfoques de aprendizaje automático;
- Enfoques basados en la lógica y el conocimiento; y
- Enfoques estadísticos;
Que puede, para un conjunto dado de objetivos definidos por el ser humano, generar salidas como contenido, predicciones, recomendaciones o decisiones que influyen en los entornos con los que interactúan.

Prácticas prohibidas de IA

El Reglamento sobre IA prohíbe la IA específica practicas (en lugar de IA sistemas) que se considera que crean un riesgo inaceptable (por ejemplo, al violar los derechos fundamentales). Estos cubren:

Patrones oscuros basados en IA: Sistemas de IA que se despliegan técnicas subliminales más allá de la conciencia de una persona con el fin de distorsionar materialmente el comportamiento de una persona de una manera que cause o pueda causarle a esa persona u otra persona daño físico o psicológico (por ejemplo, reproducir un sonido inaudible para generar cierto comportamiento);

Micro-focalización basada en IA: Sistemas de IA que explotar las vulnerabilidades de un grupo específico de personas con el fin de distorsionar materialmente el comportamiento de una persona perteneciente a ese grupo de una manera que cause o pueda causar daño físico o psicológico a esa persona u otra persona (por ejemplo, juguetes con características interactivas que empujan a los niños a comportamientos irresponsables o no deseados);
Puntuación social basada en IA: Sistemas de IA utilizados por las autoridades públicas para la evaluación o clasificación de la confiabilidad de las personas físicas durante un cierto período de tiempo en función de su comportamiento social o características de personalidad, con la puntuación social que conduce a un trato perjudicial / desfavorable en contextos sociales no relacionados con el contexto en el que se recopilaron los datos;
la uso de sistemas de identificación biométrica remota en «tiempo real» en espacios de acceso público con el propósito de hacer cumplir la ley, excepto (i) en relación con búsquedas específicas para víctimas potenciales específicas de delitos, (ii) para prevenir una amenaza a la vida o un ataque terrorista, o (iii) para detectar, localizar, identificar o enjuiciar un autor o sospechoso de ciertos delitos graves. En este sentido, se debe tener en cuenta la naturaleza de la situación y las consecuencias del uso (gravedad, probabilidad y escala del daño), se deben cumplir las salvaguardias necesarias y proporcionadas y se debe contar con la autorización previa de una autoridad judicial / administrativa. Ser obtenido.

Sistemas de IA de alto riesgo

Los sistemas de IA de alto riesgo están permitidos siempre que se implementen los controles estrictos establecidos en la regulación para mitigar el riesgo. Gran parte de esta parte del reglamento sigue el enfoque adoptado en la legislación de la UE existente para gestionar los riesgos de seguridad de los productos.

a) La definición de un sistema de IA de alto riesgo

Los sistemas de IA de alto riesgo se definen mediante un modelo de clasificación que se centra en el riesgo asociado con el producto en sí:

A primera categoria cubre los sistemas de IA destinados a ser utilizados como componente de seguridad de productos (o que son en sí mismos un producto). Estos sistemas se enumeran en el anexo II del Reglamento AI..
A segunda categoria cubre los sistemas de IA autónomos cuyo uso puede tener un impacto en derechos fundamentales. Estos sistemas se enumeran en el anexo III y abarcan, a modo de ejemplo, los sistemas de identificación biométrica en tiempo real y «post». Esta lista identifica los sistemas de IA cuyos riesgos ya se han materializado o es probable que se materialicen en un futuro próximo. Es posible que se amplíe en el futuro para cubrir otros sistemas de IA que la CE considera que presentan riesgos de daño igualmente altos.

B) Requisitos aplicables a los sistemas de IA de alto riesgo

Los controles regulatorios clave sobre los sistemas de IA de alto riesgo recaen en proveedores[2] del sistema, como se resume a continuación.

Transparencia: Los sistemas de IA de alto riesgo deben diseñarse y desarrollarse de tal manera que se garantice que el funcionamiento es suficientemente transparente para permitir que los usuarios interpreten la salida del sistema y la utilicen de forma adecuada. Se debe proporcionar al usuario documentación e instrucciones claras, que deben contener información sobre la identidad del proveedor, las características / capacidades / limitaciones del sistema de IA y las medidas de supervisión humana.

Seguridad: Un alto nivel de precisión, robustez y seguridad debe garantizarse de forma constante durante todo el ciclo de vida del sistema de IA de alto riesgo. Los incidentes graves y el mal funcionamiento del sistema de IA de alto riesgo deben notificarse a las autoridades de vigilancia del mercado del Estado miembro donde ocurrió el incidente.
Responsabilidad:
- Completo y actualizado documentación técnica debe ser mantenido (y elaborado por los proveedores antes de la puesta en el mercado / puesta en servicio) para demostrar el cumplimiento del Reglamento de IA. Los resultados del sistema de IA de alto riesgo deben ser verificables y rastreables durante todo el ciclo de vida, incluida la generación automática de registros (que deben conservar los proveedores, cuando estén bajo su control).
- El sistema debe ser registrado en una base de datos de la UE sobre sistemas de IA de alto riesgo antes de su comercialización o puesta en servicio.
- Cuando no pueda identificarse ningún importador, los proveedores establecidos fuera de la UE designarán un representante autorizado.
Gestión de riesgos: Se debe establecer, implementar, documentar y mantener un sistema de gestión de riesgos como parte de un sistema general de gestión de la calidad. La gestión de riesgos debe comprender un proceso iterativo continuo que se ejecute a lo largo de todo el ciclo de vida del sistema.

Pruebas: Cualquier conjunto de datos utilizado para respaldar formación, validación y pruebas debe estar sujeto a la apropiada prácticas de gestión y gobernanza de datos y debe ser relevante, representativo, libre de errores y completo y tener las propiedades estadísticas adecuadas para respaldar el uso del sistema.
Revisión humana: Los sistemas de IA deben diseñarse y desarrollarse de tal manera que exista supervisión humana eficaz. Este elemento de supervisión humana también se puede encontrar en el artículo 22 del RGPD sobre la toma de decisiones automatizada que establece el derecho a obtener la intervención humana.

Además de lo anterior, los proveedores también deben:

Establecer, implementar y mantener un sistema de seguimiento posterior a la comercialización (de manera proporcional a la naturaleza de las tecnologías de inteligencia artificial y los riesgos del sistema de inteligencia artificial de alto riesgo);
Asegúrese de que el sistema se someta a los procedimiento de evaluación de la conformidad (antes de la comercialización / puesta en servicio) y redactar una declaración UE de conformidad;
Tomar inmediatamente acciones correctivas en relación con los sistemas de IA de alto riesgo no conformes (e informar a la autoridad nacional competente de dicho incumplimiento y las medidas tomadas);

Colocar el marcado CE a sus sistemas de IA de alto riesgo para indicar conformidad;
A petición de una autoridad nacional competente, demostrar la conformidad del sistema de IA de alto riesgo.

Los importadores, distribuidores y usuarios de sistemas de IA de alto riesgo están sujetos a requisitos de control reglamentarios aún más limitados. Lo más notable para los usuarios de sistemas de IA de alto riesgo son los requisitos de (i) utilizar los sistemas de acuerdo con las instrucciones dadas por el proveedor; (ii) asegurar que todos los datos de entrada sean relevantes para el propósito previsto; (iii) monitorear el funcionamiento del sistema e informar al proveedor / distribuidor de los posibles riesgos / incidentes graves, o mal funcionamiento y (iv) mantener registros generados automáticamente por ese sistema de IA de alto riesgo, donde esos registros están bajo su control.

c) Evaluaciones de la conformidad y organismos notificados / autoridades notificantes

El Reglamento de IA incluye un procedimiento de evaluación de la conformidad que debe seguirse para los sistemas de IA de alto riesgo, con dos niveles de evaluación para aplicar.

Si el sistema de IA de alto riesgo ya está regulado por las reglas de seguridad de los productos, se aplica un régimen de evaluación de la conformidad simplificado, efectivamente como una extensión del régimen existente.

Para otros sistemas de IA de alto riesgo (es decir, los enumerados en el Anexo III), se aplica el nuevo régimen de cumplimiento y aplicación, conformidad con la que se espera que el proveedor se autoevalúe, excepto en el caso de los sistemas de identificación biométrica remota; estos estarán sujetos a evaluación de la conformidad de terceros.

El régimen de evaluación de la conformidad está respaldado por una red de organismos notificados y autoridades notificantes ser designados o establecidos por los Estados miembros como terceros independientes en el proceso de conformidad.

Reglas para otros sistemas de IA (de bajo riesgo)

Los sistemas de IA que no se implementen para una práctica prohibida y que estén fuera del alcance de un sistema de alto riesgo estarán sujetos a una serie de controles básicos que se aplican a todos los sistemas de IA, en particular:

Si el sistema de IA está destinado a interactuar con un individuo, el proveedor debe diseñar el sistema para asegurarse de que el individuo sepa que está interactuando con un sistema de inteligencia artificial (excepto cuando esto sea obvio o tenga lugar en el contexto de la investigación de delitos);
Si el sistema de IA implica reconocimiento de emociones o categorización biométrica de individuos, el usuario debe informar al individuo de que esto está sucediendo;

Si los sistemas de inteligencia artificial generan las llamadas «falsificaciones profundas», el usuario debe revelar esto (es decir, que el contenido ha sido creado o manipulado artificialmente).
Se recomiendan los códigos de conducta para alentar a quienes proporcionan y utilizan sistemas de inteligencia artificial de menor riesgo a cumplir con la letra y el espíritu de las reglas aplicables a los sistemas de inteligencia artificial de alto riesgo.

Gobernanza, ejecución y sanciones

a) Consejo Europeo de Inteligencia Artificial

El Reglamento AI prevé el establecimiento de un Junta Europea de Inteligencia Artificial («EAIB”), Para ayudar a asesorar y asistir a la CE en relación con los asuntos cubiertos por el Reglamento AI para (i) contribuir a la cooperación efectiva de las autoridades nacionales de supervisión y la Comisión, (ii) coordinar y contribuir a la orientación y el análisis por la Comisión y las autoridades nacionales de supervisión y otras autoridades competentes sobre cuestiones emergentes y (iii) ayudar a las autoridades nacionales de supervisión y la CE a garantizar la aplicación coherente de las normas. El constructo EAIB se basa claramente en las tareas y responsabilidades de la Junta Europea de Protección de Datos (EDPB) en virtud del RGPD.

b) Autoridades nacionales competentes

Los Estados miembros deben designar autoridades nacionales competentes y una autoridad nacional de supervisión responsable de brindar orientación y asesoramiento sobre la implementación del Reglamento de IA, incluso a los proveedores a pequeña escala.

c) Ejecución

El Reglamento sobre IA exige que las autoridades de los Estados miembros realicen vigilancia del mercado y control de los sistemas de IA de acuerdo con el régimen de seguridad del producto del Reglamento (UE) 2019/1020. Se espera que los proveedores cooperen proporcionando acceso completo a conjuntos de datos de capacitación, validación y prueba, etc.

Si la vigilancia del mercado por parte de una autoridad da motivos para creer que un sistema de IA presenta un riesgo para la salud o la seguridad o para la protección de los derechos fundamentales de las personas, la autoridad llevará a cabo una evaluación del sistema de IA y, cuando sea necesario, exigirá acciones correctivas.

d) Sanciones

La infracción del Reglamento de IA está sujeta a sanciones monetarias de hasta 10 millones de euros – 30 millones de euros (dependiendo de la naturaleza de la infracción), o (si es mayor) una multa basada en el volumen de negocios del 2% al 6% del volumen de negocios anual global.

A diferencia del RGPD, las autoridades supervisoras hacen cumplir el Reglamento de IA y no prevé un sistema de quejas ni derechos de ejecución directa para las personas.

Conclusiones

El Reglamento de IA es una pieza legislativa innovadora que establece un claro marcador regulatorio que tendrá implicaciones no solo dentro de la UE, sino también en muchos otros países que probablemente seguirán de cerca el enfoque de la UE. La regulación tal como está redactada afectará a una amplia gama de organizaciones, desde los usuarios de IA en la atención médica, agencias gubernamentales, transporte y servicios financieros, hasta los desarrolladores de tecnología subyacentes, muchos de los cuales pueden estar ubicados fuera de la UE. Dada la novedad y amplitud de la propuesta, podemos esperar un escrutinio, cabildeo y debate saludables a medida que el borrador avanza ahora a través del proceso legislativo del diálogo tripartito. Observaremos el camino de cerca y proporcionaremos nuestros comentarios continuos con interés.

[1] Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas sobre inteligencia artificial.

[2] Un proveedor se define como una persona física o jurídica, autoridad pública, agencia u otro organismo que desarrolla un sistema de IA o que tiene un sistema de IA desarrollado con el fin de comercializarlo o ponerlo en servicio con su propio nombre o marca registrada. , ya sea de pago o de forma gratuita.