Esta publicación es parte de una serie sobre aprendizaje federado que preserva la privacidad. La serie es una colaboración entre el NIST y la Unidad de Adopción de Tecnología Responsable (RTA) del gobierno del Reino Unido, anteriormente conocida como el Centro de Ética e Innovación de Datos. Obtenga más información y lea todas las publicaciones publicadas hasta la fecha en el Espacio de colaboración de ingeniería de privacidad del NIST o el blog de RTA. Las últimas dos publicaciones de nuestra serie cubrieron técnicas para la privacidad de entrada en el aprendizaje federado que preserva la privacidad en el contexto de datos particionados horizontal y verticalmente. Para construir un sistema de aprendizaje federado completo que preserve la privacidad, estas técnicas deben combinarse con un enfoque para la privacidad de salida, que limita cuánto se puede aprender sobre las personas en los datos de entrenamiento después de que se haya entrenado el modelo. Como se describe en la segunda parte de nuestra publicación sobre ataques a la privacidad en el aprendizaje federado, los modelos entrenados pueden filtrar información significativa sobre sus datos de entrenamiento, incluidas imágenes completas y fragmentos de texto. Entrenamiento con privacidad diferencial La forma más sólida conocida de privacidad de salida es la privacidad diferencial. La privacidad diferencial es un marco de privacidad formal que se puede aplicar en muchos contextos; Consulte la serie de blogs del NIST sobre este tema para obtener más detalles, y especialmente la publicación sobre aprendizaje automático diferencialmente privado. Las técnicas para el aprendizaje automático diferencialmente privado agregan ruido aleatorio al modelo durante el entrenamiento para defenderse contra ataques a la privacidad. El ruido aleatorio evita que el modelo memorice detalles de los datos de entrenamiento, lo que garantiza que los datos de entrenamiento no se puedan extraer más tarde del modelo. Por ejemplo, Carlini et al. demostraron que los datos de entrenamiento sensibles, como los números de la seguridad social, se podían extraer de los modelos de lenguaje entrenados, y que el entrenamiento con privacidad diferencial evitó con éxito este ataque. Privacidad diferencial para el aprendizaje federado que preserva la privacidad En el entrenamiento centralizado, donde los datos de entrenamiento se recopilan en un servidor central, el servidor puede realizar el entrenamiento y agregar ruido para la privacidad diferencial a la vez. En el aprendizaje federado que preserva la privacidad, puede ser más difícil determinar quién debe agregar el ruido y cómo debe agregarlo. FedAvg con privacidad diferencial, para el aprendizaje federado que preserva la privacidad en datos particionados horizontalmente. Las modificaciones al enfoque FedAvg están resaltadas en rojo. Estas modificaciones añaden ruido aleatorio a cada actualización, de modo que las muestras de ruido agregadas sean suficientes para garantizar la privacidad diferencial para el modelo global entrenado. Crédito: NIST Para el aprendizaje federado que preserva la privacidad en datos particionados horizontalmente, Kairouz et al. presentan una variante del enfoque FedAvg descrito en nuestra cuarta publicación. En este enfoque, visualizado, cada participante realiza un entrenamiento local, luego agrega una pequeña cantidad de ruido aleatorio a la actualización de su modelo antes de agregarlo con las actualizaciones de otros participantes. Si cada participante agrega correctamente ruido a su actualización, entonces el nuevo modelo agregado contendrá suficiente ruido para garantizar la privacidad diferencial. Esta técnica proporciona privacidad de salida, incluso en el caso de un agregador malicioso. El equipo Scarlet Pets utilizó una variante de este enfoque en su solución ganadora para los desafíos del premio UK-US PETs. ​​En el caso de datos particionados verticalmente, garantizar la privacidad diferencial puede ser complicado. El ruido requerido para la privacidad diferencial no se puede agregar antes de la alineación de entidades, porque evitará que los atributos de los datos coincidan correctamente. En cambio, el ruido debe agregarse después de la alineación de entidades, ya sea por un participante confiable o mediante técnicas como el cifrado homomórfico o el cálculo multipartidario. Entrenamiento de modelos diferencialmente privados de alta precisión El ruido aleatorio necesario para la privacidad diferencial puede afectar la precisión del modelo. Más ruido generalmente conduce a una mejor privacidad, pero peor precisión. Esta compensación entre precisión y privacidad a menudo se denomina compensación privacidad-utilidad. Para algunos tipos de modelos de aprendizaje automático, incluidos los modelos de regresión lineal, los modelos de regresión logística y los árboles de decisión, esta compensación es fácil de manejar: el enfoque descrito anteriormente a menudo funciona para entrenar modelos altamente precisos con privacidad diferencial. En los desafíos del premio PETs del Reino Unido y los EE. UU., los equipos PPMLHuskies y Scarlet Pets utilizaron técnicas similares para entrenar modelos altamente precisos con privacidad diferencial. Para las redes neuronales y el aprendizaje profundo, el gran tamaño del modelo en sí mismo dificulta el entrenamiento con privacidad diferencial: los modelos más grandes requieren más ruido para lograr privacidad, lo que puede reducir significativamente la precisión. Si bien este tipo de modelos no fueron parte de los desafíos del premio PETs del Reino Unido y los EE. UU., son cada vez más importantes en todas las aplicaciones de IA generativa, incluidos los modelos de lenguaje grandes. Resultados recientes han demostrado que los modelos entrenados previamente con datos disponibles públicamente (sin privacidad diferencial) y luego ajustados con privacidad diferencial pueden lograr una precisión mucho mayor que los modelos entrenados solo con privacidad diferencial. Por ejemplo, Li et al. muestran que los modelos de lenguaje entrenados previamente se pueden ajustar con privacidad diferencial y lograr casi la misma precisión que los modelos entrenados sin privacidad diferencial. Estos resultados sugieren que para los dominios donde se pueden usar datos disponibles públicamente para el entrenamiento previo, incluidos los modelos de reconocimiento de imágenes y lenguaje, es factible el aprendizaje federado que preserva la privacidad y logra tanto privacidad como utilidad. Este enfoque no ofrece ninguna protección de la privacidad para los datos públicos utilizados durante el entrenamiento previo, por lo que es importante garantizar que el uso de estos datos respete la privacidad relevante y los derechos de propiedad intelectual (las consideraciones legales y éticas en torno a esto están fuera del alcance de esta serie de blogs). Próximamente En nuestra próxima publicación, analizaremos los desafíos de implementación al implementar el aprendizaje federado que preserva la privacidad en el mundo real.