Extracción de modelos de redes neuronales Un nuevo artículo, “Polynomial Time Cryptanalytic Extraction of Neural Network Models”, de Adi Shamir y otros, utiliza ideas del criptoanálisis diferencial para extraer los pesos dentro de una red neuronal utilizando consultas específicas y sus resultados. Esto es mucho más teórico que práctico, pero es un resultado realmente interesante. Resumen: Actualmente se gastan miles de millones de dólares e incontables horas de GPU en entrenar redes neuronales profundas (DNN) para una variedad de tareas. Por lo tanto, es esencial determinar la dificultad de extraer todos los parámetros de dichas redes neuronales cuando se les da acceso a sus implementaciones de caja negra. Se han estudiado muchas versiones de este problema durante los últimos 30 años, y el mejor ataque actual a las redes neuronales profundas basadas en ReLU fue presentado en Crypto’20 por Carlini, Jagielski y Mironov. Se asemeja a un ataque diferencial de texto simple elegido en un criptosistema, que tiene una clave secreta incorporada en su implementación de caja negra y requiere un número polinomial de consultas pero una cantidad exponencial de tiempo (como función del número de neuronas). En este artículo, mejoramos este ataque desarrollando varias técnicas nuevas que nos permiten extraer con una precisión arbitrariamente alta todos los parámetros de valor real de una red neuronal conmutada basada en ReLU utilizando un número polinomial de consultas y una cantidad polinomial de tiempo. Demostramos su eficiencia práctica aplicándolo a una red neuronal de tamaño completo para clasificar el conjunto de datos CIFAR10, que tiene 3072 entradas, 8 capas ocultas con 256 neuronas cada una y alrededor de 1,2 millones de parámetros neuronales. Un ataque que siga el enfoque de Carlini et al. requiere una búsqueda exhaustiva sobre 2^256 posibilidades. Nuestro ataque reemplaza esto con nuestras nuevas técnicas, que requieren solo 30 minutos en una computadora de 256 núcleos. Etiquetas: artículos académicos, criptografía Publicado el 1 de julio de 2024 a las 7:05 am • 0 comentarios Foto de la barra lateral de Bruce Schneier por Joe MacInnis.