La era de la integridad que necesitamos para hablar sobre la integridad de los datos. Porque, el término se refiere a garantizar que los datos no estén manipulados, ya sea en tránsito o en almacenamiento. Manipular los saldos de las cuentas en las bases de datos bancarias, eliminar las entradas de los antecedentes penales y el asesinato eliminando las anotaciones sobre las alergias de los registros médicos son todos ataques de integridad. En términos más generales, la integridad se refiere a garantizar que los datos sean correctos y precisos desde el punto en que se recopila, a través de todas las formas en que se usa, modifica, transforma y eventualmente se elimina. Los incidentes relacionados con la integridad incluyen acciones maliciosas, pero también errores inadvertidos. Tendemos a no pensar en ellos de esta manera, pero tenemos muchas medidas de integridad primitiva integradas en nuestros sistemas informáticos. El proceso de reinicio, que devuelve una computadora a un buen estado conocido, es una medida de integridad. El botón Deshacer es otra medida de integridad. Cualquiera de nuestros sistemas que detecten errores del disco duro, corrupción de archivos o paquetes de Internet descartados son medidas de integridad. Así como un sitio web que deja los datos personales expuestos, incluso si nadie accedió, cuenta como una violación de la privacidad, un sistema que no garantiza la precisión de sus datos cuenta como una violación de integridad, incluso si nadie manipulaba deliberadamente esos datos. La integridad siempre ha sido importante, pero a medida que comenzamos a usar cantidades masivas de datos para capacitar y operar sistemas de inteligencia artificial, la integridad de los datos se volverá más crítica que nunca. La mayoría de los ataques contra los sistemas de IA son ataques de integridad. Cumplir pequeñas calcomanías en las señales de carretera para engañar a los sistemas de conducción de IA es una violación de integridad. Los ataques de inyección inmediatos son otra violación de integridad. En ambos casos, el modelo AI no puede distinguir entre datos legítimos y entrada maliciosa: Visual En el primer caso, instrucciones de texto en el segundo. Peor aún, el modelo AI no puede distinguir entre datos legítimos y comandos maliciosos. Cualquier ataque que manipule los datos de entrenamiento, el modelo, la entrada, la salida o la retroalimentación de la interacción nuevamente en el modelo es una violación de integridad. Si está construyendo un sistema de IA, la integridad es su mayor problema de seguridad. Y es uno de los que tendremos que pensar, hablar y descubrir cómo resolver. Web 3.0: la web distribuida, descentralizada e inteligente del mañana, se trata de integridad de datos. No es solo AI. Los datos y la computación verificables, confiables, precisos son partes necesarias de la computación en la nube, las redes sociales entre pares y el almacenamiento de datos distribuidos. Imagine un mundo de autos sin conductor, donde los autos se comunican entre sí sobre sus intenciones y condiciones de la carretera. Eso no funciona sin integridad. Y tampoco una red eléctrica inteligente o redes de malla confiables. No hay agentes de IA confiables sin integridad. Sin embargo, tendremos que resolver un pequeño problema de idioma primero. La confidencialidad es confidencial, y la disponibilidad está disponible, ya que la integridad es para qué? La palabra análoga es «integral», pero esa es una palabra tan oscura que no está en el diccionario Merriam-Webster, incluso en su versión no acumulada. Propongo que volvamos a popularizar la palabra, comenzando aquí. Necesitamos investigación sobre el diseño integral del sistema. Necesitamos investigación sobre una serie de problemas difíciles que abarcan tanto los datos como la integridad computacional. ¿Cómo probamos y medimos la integridad? ¿Cómo construimos sensores verificables con salidas de sistema auditables? ¿Cómo creamos unidades de procesamiento de datos integrales? ¿Cómo nos recuperamos de una violación de integridad? Estas son solo algunas de las preguntas que necesitaremos responder una vez que comencemos a hurgar en la integridad. Aquí hay preguntas profundas, profundas como Internet. En la década de 1960, Internet fue diseñado para responder una pregunta de seguridad básica: ¿podemos construir una red disponible en un mundo de fallas de disponibilidad? Más recientemente, recurrimos a la cuestión de la privacidad: ¿podemos construir una red confidencial en un mundo de fallas de confidencialidad? Propongo que la versión actual de esta pregunta debe ser esta: ¿podemos construir una red integrada en un mundo de fallas de integridad? Al igual que la versión de esta pregunta que llegó antes: la respuesta no es obviamente «sí», pero obviamente tampoco es «no». Empecemos a pensar en el diseño integral del sistema. Y comencemos a usar la palabra en conversación. Cuanto más lo usemos, más extraño sonará. Y, quién sabe, tal vez algún día la American Dialect Society lo elegirá como la palabra del año. Este ensayo se publicó originalmente en IEEE Security & Privacy. Etiquetas: AI, LLM publicado el 27 de junio de 2025 a las 7:02 am • 21 comentarios