Qué es la investigación:
El aprendizaje federado con privacidad diferencial (FL-DP) es una de las últimas tecnologías de mejora de la privacidad que se evalúan en Meta, ya que trabajamos constantemente para mejorar la privacidad del usuario y proteger aún más los datos de los usuarios en los productos que diseñamos, construimos y mantenemos.
FL-DP mejora la privacidad de dos maneras importantes:
- Permite entrenar modelos de aprendizaje automático (ML) de forma distribuida para que los datos de los usuarios permanezcan en sus dispositivos móviles.
- Agrega ruido para reducir el riesgo de que un modelo de ML memorice los datos del usuario.
Los beneficios de FL-DP vienen con desafíos únicos que no se pueden resolver a través de herramientas y prácticas de ML convencionales. Como tal, hemos desarrollado una nueva arquitectura y metodología de sistema capaz de abordar con éxito estos desafíos. Tal enfoque podría mejorar la privacidad del usuario al mismo tiempo que facilita una experiencia de usuario inteligente, segura e intuitiva en toda la familia de tecnologías de Meta.
Cómo funciona:
Con FL-DP, los modelos ML se entrenan de manera federada donde los dispositivos móviles aprenden localmente. Un modelo de ML global solo se actualiza con estos aprendizajes localizados solo después de agregar el ruido, a través de un proceso llamado privacidad diferencial. La privacidad diferencial es un paso importante, ya que es la estrategia más conocida para evitar que los modelos ML memoricen datos de entrenamiento, incluso en los escenarios más extremos (por ejemplo, ataques de reconstrucción).
Sin embargo, entrenar modelos de ML de esta manera presenta desafíos que son nuevos y diferentes de los de los modelos de ML centralizados más convencionales, que incluyen:
- Equilibrio de etiquetas, normalización de funciones y cálculo de métricas debido a la falta de visibilidad de los datos
- Ciclos de lanzamiento móviles más lentos en comparación con los ciclos de lanzamiento de back-end
- Entrenamientos más lentos por la federación de entrenamientos a dispositivos móviles
- Registro anónimo del sistema para mantener la privacidad de los datos
Para abordar estos desafíos, hemos diseñado una arquitectura y una metodología que están influenciadas por las aplicaciones del mundo real de ML y permiten que el entrenamiento de modelos combine datos de usuario del lado del servidor con datos de usuario del lado del dispositivo para generar inferencias. Los datos de usuario solo del lado del dispositivo permanecen en los dispositivos de los usuarios. Esta arquitectura es una combinación de infraestructura en dispositivos móviles, entornos de ejecución confiables y servidores back-end convencionales.
Validamos esta arquitectura utilizando una biblioteca FL interna que es compatible con la familia de aplicaciones de Meta (como Facebook e Instagram) y que tiene el potencial de escalar la capacitación a millones de dispositivos y las inferencias a miles de millones de dispositivos. Comparamos este enfoque con los modelos entrenados en servidores convencionales y observamos una degradación mínima del rendimiento del modelo sin transgredir las restricciones de recursos informáticos, de almacenamiento y de energía limitados en el dispositivo.
Al diseñar nuestra arquitectura de infraestructura para FL con privacidad diferencial, la idea era mejorar la eficiencia del desarrollador. Si bien ha habido un buena cantidad de investigación al permitir el entrenamiento exitoso y eficiente del modelo, no se ha prestado tanta atención a los componentes auxiliares de la infraestructura central necesarios para un ajuste rápido y una implementación escalable en el momento de la inferencia. Esta es la razón por la que elegimos centrarnos en el diseño y la integración arquitectónicos generales.
Aquí hay un diagrama de los componentes principales del sistema:
Que sigue:
Si bien esta arquitectura es capaz de entrenar e implementar con éxito modelos FL de producción, quedan varios desafíos para el trabajo futuro. La velocidad del desarrollador, en particular, sigue siendo una de las mayores barreras para escalar el ML federado de grado de producción. Las iteraciones actuales del desarrollo del modelo son varios órdenes de magnitud más lentas en comparación con empresas de tamaño similar dentro de un entorno centralizado. Esperamos iterar en nuestra arquitectura.
Lea el documento completo:
Aprendizaje federado aplicado: diseño arquitectónico para un aprendizaje sólido y eficiente en entornos conscientes de la privacidad