En febrero, OpenAI anunció la llegada de Sora, una impresionante herramienta de “texto a video”. Simplemente ingrese un mensaje y Sora generará un video realista en segundos. Pero no estuvo disponible de inmediato para el público. Parte del retraso se debe a que, según se informa, OpenAI tiene un conjunto de expertos llamado equipo rojo que, según la compañía, probará el modelo para comprender su capacidad para videos deepfake, información errónea, prejuicios y contenido de odio. útil para aplicaciones de ciberseguridad, es una herramienta militar que nunca estuvo pensada para una adopción generalizada por parte del sector privado. “Si se hace bien, el equipo rojo puede identificar y ayudar a abordar las vulnerabilidades en la IA”, dice Brian Chen, director de políticas del grupo de expertos Data & Society, con sede en Nueva York. «Lo que no hace es abordar la brecha estructural en la regulación de la tecnología en beneficio del interés público». ¿Qué es el equipo rojo? La práctica del equipo rojo tiene sus primeros orígenes en la estratagema militar de Sun Tzu en El arte de la guerra: «Si sabes Al enemigo y conócete a ti mismo, no debes temer el resultado de cien batallas”. El propósito de los ejercicios del equipo rojo es desempeñar el papel del adversario (el equipo rojo) y encontrar vulnerabilidades ocultas en las defensas del equipo azul (los defensores), quienes luego piensan creativamente sobre cómo arreglar las brechas. La práctica se originó en los círculos militares y gubernamentales de Estados Unidos durante la década de 1960 como una forma de anticipar las amenazas de la Unión Soviética. Hoy en día, se la conoce principalmente como una técnica de ciberseguridad confiable que se utiliza para ayudar a proteger redes informáticas, software y datos propietarios. Esa es la idea, al menos. Y en ciberseguridad, donde el papel de los piratas informáticos y los defensores está claro, los equipos rojos tienen un historial sustancial. Pero no está claro cómo se podrían distribuir los equipos azul y rojo para la IA y qué motiva a los participantes en todo este ejercicio a actuar en última instancia para, idealmente, promover el bien público. En un escenario en el que los equipos rojos se utilizan para aparentemente ayudar a salvaguardar la sociedad De los posibles daños de la IA, ¿quién juega en los equipos azul y rojo? ¿El equipo azul son los desarrolladores y el equipo rojo los hackers? ¿O el equipo rojo es el modelo de IA? ¿Y quién supervisa el equipo azul? Micah Zenko, autor de Red Team: How to Succeed by Thinking Like the Enemy, dice que el concepto de equipo rojo no siempre está bien definido y sus aplicaciones pueden variar. Dice que los miembros del equipo rojo de IA deberían “proceder con precaución: ser claros en cuanto al razonamiento, el alcance, la intención y los resultados del aprendizaje. Asegúrese de poner a prueba el pensamiento y desafiar las suposiciones”. Zenko también revela una evidente discrepancia entre los equipos rojos y el ritmo de avance de la IA. El objetivo, afirma, es identificar las vulnerabilidades existentes y luego solucionarlas. «Si el sistema que se está probando no es lo suficientemente estático», dice, «entonces simplemente estamos persiguiendo el pasado». ¿Por qué el equipo rojo ahora forma parte de la política pública de IA? El 30 de octubre del año pasado, el presidente Joe Biden emitió una Orden Ejecutiva 14110 que instruye al Instituto Nacional de Estándares y Tecnología (NIST) de EE. UU. a desarrollar pautas con base científica para respaldar el despliegue de sistemas seguros y confiables, incluido el equipo rojo de IA. Tres meses después, el NIST concluyó los primeros pasos hacia implementar sus nuevas responsabilidades (equipo rojo y otras). Recopiló comentarios públicos sobre el registro federal, anunció el liderazgo inaugural del Instituto de Seguridad de Inteligencia Artificial de EE. UU. e inició un consorcio para evaluar los sistemas de inteligencia artificial y mejorar su confiabilidad y seguridad. Sin embargo, esta no es la primera vez que la administración Biden se vuelve al equipo rojo de IA. La popularidad de la técnica en los círculos de la administración Biden comenzó a principios de año. Según Politico, funcionarios de la Casa Blanca se reunieron con los organizadores de la conferencia de hackers DEFCON en marzo y acordaron en ese momento apoyar un ejercicio público de formación de equipos rojos. En mayo, los funcionarios de la administración anunciaron su apoyo para intentar un ejercicio de equipo rojo de IA en la próxima conferencia DEFCON 31 en Las Vegas. Luego, como estaba previsto, en agosto, miles de personas acudieron al Caesar’s Forum en Las Vegas para probar la capacidad de los modelos de IA para causar daño. Al cierre de esta edición, los resultados de este ejercicio aún no se han hecho públicos. ¿Qué puede hacer el equipo rojo de IA? Como cualquier software informático, los modelos de IA comparten las mismas cibervulnerabilidades: pueden ser pirateados por actores nefastos para lograr una variedad de objetivos, incluido el robo de datos o el sabotaje. Como tal, el equipo rojo puede ofrecer un enfoque para proteger los modelos de IA de amenazas externas. Por ejemplo, Google utiliza equipos rojos para proteger sus modelos de IA de amenazas como ataques rápidos, envenenamiento de datos y puertas traseras. Una vez que se identifican dichas vulnerabilidades, se pueden cerrar las brechas en el software. Para abordar los riesgos potenciales de la IA, los desarrolladores de tecnología han creado redes de expertos externos para ayudarlos a evaluar la seguridad de sus modelos. Sin embargo, tienden a contratar contratistas y exigirles que firmen acuerdos de confidencialidad. Los ejercicios todavía se llevan a cabo a puerta cerrada y los resultados se comunican al público en términos generales. Especialmente en el caso de la IA, los expertos del grupo de expertos en tecnología Data & Society afirman que el red teaming no debería tener lugar internamente dentro de una empresa. Zenko sugiere que “no sólo es necesaria la validación de terceros independientes, sino que las empresas deberían crear equipos multifuncionales y multidisciplinarios, no sólo ingenieros y piratas informáticos”. Dan Hendrycks, director ejecutivo y de investigación del Centro de IA con sede en San Francisco La seguridad, afirma el Red Teaming, tampoco debería tratarse como una solución llave en mano. «La técnica es ciertamente útil», afirma. «Pero representa sólo una línea de defensa contra los riesgos potenciales de la IA, y es esencial un ecosistema más amplio de políticas y métodos». El nuevo Instituto de Seguridad de IA del NIST ahora tiene la oportunidad de cambiar la forma en que se utiliza el equipo rojo en la IA. Según se informa, el consorcio del Instituto, formado por más de 200 organizaciones, ya ha comenzado a desarrollar estándares para los equipos rojos de IA. Los desarrolladores de tecnología también han comenzado a explorar las mejores prácticas por su cuenta. Por ejemplo, Anthropic, Google, Microsoft y OpenAI han establecido el Frontier Model Forum (FMF) para desarrollar estándares para la seguridad de la IA y compartir las mejores prácticas en toda la industria. Chris Meserole, director ejecutivo de FMF, dice que «la formación de equipos rojos puede ser una gran punto de partida para evaluar los riesgos potenciales que un modelo podría introducir”. Sin embargo, añade, los modelos de IA que están a la vanguardia del desarrollo tecnológico exigen una variedad de estrategias, no sólo una herramienta reciclada de la ciberseguridad y, en última instancia, de la Guerra Fría. El equipo rojo, dice Meserole, está lejos de ser «una panacea, por lo que hemos querido apoyar el desarrollo de otras técnicas de evaluación, evaluación y mitigación para garantizar la seguridad de los modelos de IA de vanguardia».
Source link
Etiqueta: Modelos de IA
Desde que ChatGPT cayó en el otoño de 2022, todos y sus burros han probado suerte con la ingeniería rápida: han encontrado una forma inteligente de expresar su consulta en un modelo de lenguaje grande (LLM) o en un generador de video o arte de IA para obtener los mejores resultados o protecciones de paso lateral. Internet está repleto de guías de ingeniería, hojas de trucos e hilos de consejos que le ayudarán a aprovechar al máximo un LLM. En el sector comercial, las empresas ahora están disputando LLM para crear copilotos de productos, automatizar trabajos tediosos y crear asistentes personales. y más, dice Austin Henley, un ex empleado de Microsoft que realizó una serie de entrevistas con personas que desarrollan copilotos con tecnología LLM. “Todas las empresas intentan utilizarlo para prácticamente todos los casos de uso que puedan imaginar”, afirma Henley. “La única tendencia real puede ser que no haya tendencia. Lo que es mejor para cualquier modelo, conjunto de datos y estrategia de estímulo determinado probablemente sea específico de la combinación particular en cuestión”. —Rick Battle y Teja Gollapudi, VMware Para lograrlo, han contado con la ayuda de ingenieros rápidos de manera profesional. Sin embargo, una nueva investigación sugiere que la mejor manera de realizar la ingeniería rápida es el modelo en sí, y no un ingeniero humano. Esto ha arrojado dudas sobre el futuro de la ingeniería rápida y ha aumentado las sospechas de que una buena parte de los trabajos de ingeniería rápida pueden ser una moda pasajera, al menos tal como se imagina actualmente este campo. Las indicaciones autoajustadas son exitosas y extrañas. Rick Battle y Teja Gollapudi en la nube con sede en California. La empresa de informática VMware estaba perpleja por lo quisquilloso e impredecible que era el rendimiento del LLM en respuesta a técnicas de indicaciones extrañas. Por ejemplo, las personas han descubierto que pedir a los modelos que expliquen su razonamiento paso a paso (una técnica llamada cadena de pensamiento) mejoró su desempeño en una variedad de preguntas de matemáticas y lógica. Aún más extraño, Battle descubrió que darle a un modelo indicaciones positivas, como “esto será divertido” o “eres tan inteligente como chatGPT”, a veces mejoraba el rendimiento. Battle y Gollapudi decidieron probar sistemáticamente cómo las diferentes estrategias de ingeniería rápida impactan la capacidad de un LLM para resolver preguntas de matemáticas de la escuela primaria. Probaron tres modelos diferentes de lenguaje de código abierto con 60 combinaciones de mensajes diferentes cada uno. Lo que encontraron fue una sorprendente falta de coherencia. Incluso las indicaciones en cadena de pensamientos a veces ayudaron y otras perjudicaron el desempeño. «La única tendencia real puede ser que no haya tendencia», escriben. «Lo que es mejor para cualquier modelo, conjunto de datos y estrategia de indicaciones probablemente sea específico de la combinación particular en cuestión». Según un equipo de investigación, ningún ser humano debería optimizar manualmente las indicaciones nunca más. Existe una alternativa a la prueba y -Ingeniería de indicaciones de estilo de error que produjo resultados tan inconsistentes: pida al modelo de lenguaje que diseñe su propia indicación óptima. Recientemente, se han desarrollado nuevas herramientas para automatizar este proceso. Dados algunos ejemplos y una métrica de éxito cuantitativa, estas herramientas encontrarán de forma iterativa la frase óptima para incorporar al LLM. Battle y sus colaboradores descubrieron que en casi todos los casos, este mensaje generado automáticamente funcionó mejor que el mejor mensaje encontrado mediante prueba y error. Y el proceso fue mucho más rápido, un par de horas en lugar de varios días de búsqueda. Las indicaciones óptimas que arrojaba el algoritmo eran tan extrañas que es probable que a ningún ser humano se le hubieran ocurrido jamás. «Literalmente no podía creer algunas de las cosas que generó», dice Battle. En un caso, el mensaje era simplemente una referencia extendida a Star Trek: “Comando, necesitamos que trace un curso a través de esta turbulencia y localice la fuente de la anomalía. Utilice todos los datos disponibles y su experiencia para guiarnos a través de esta situación desafiante”. Aparentemente, pensar que fue el Capitán Kirk ayudó a este LLM en particular a obtener mejores resultados en las preguntas de matemáticas de la escuela primaria. Battle dice que optimizar las indicaciones algorítmicamente tiene fundamentalmente sentido dado lo que realmente son los modelos de lenguaje: modelos. “Mucha gente antropomorfiza estas cosas porque ‘habla inglés’. No, no es así”, dice Battle. “No habla inglés. Hace muchos cálculos”. De hecho, a la luz de los resultados de su equipo, Battle dice que ningún humano debería volver a optimizar manualmente las indicaciones. «Estás sentado ahí tratando de descubrir qué combinación mágica especial de palabras te dará el mejor rendimiento posible para tu tarea». Battle dice: “Pero ahí es donde, con suerte, esta investigación entrará y dirá ‘no te molestes’. Simplemente desarrolle una métrica de puntuación para que el sistema pueda determinar si un mensaje es mejor que otro y luego deje que el modelo se optimice”. Los mensajes autoajustados también hacen que las imágenes sean más bonitas. Los algoritmos de generación de imágenes también pueden beneficiarse de los mensajes generados automáticamente. Recientemente, un equipo de los laboratorios Intel, dirigido por Vasudev Lal, emprendió una búsqueda similar para optimizar las indicaciones para el modelo de generación de imágenes Difusión Estable. «Parece más un error de los LLM y los modelos de difusión, no una característica, que hay que hacer esta ingeniería rápida y experta», dice Lal. «Entonces queríamos ver si podemos automatizar este tipo de ingeniería rápida». «Ahora tenemos esta maquinaria completa, el ciclo completo que se completa con este aprendizaje por refuerzo. … Es por eso que podemos superar la ingeniería rápida humana”. —Vasudev Lal, el equipo de Intel LabsLal creó una herramienta llamada NeuroPrompts que toma un mensaje de entrada simple, como “niño a caballo”, y lo mejora automáticamente para producir una mejor imagen. Para hacer esto, comenzaron con una variedad de indicaciones generadas por expertos en ingeniería de indicaciones humanas. Luego entrenaron un modelo de lenguaje para transformar indicaciones simples en indicaciones de nivel experto. Además de eso, utilizaron el aprendizaje por refuerzo para optimizar estas indicaciones y crear imágenes estéticamente más agradables, según lo calificado por otro modelo de aprendizaje automático, PickScore, una herramienta de evaluación de imágenes desarrollada recientemente. NeuroPrompts es un sintonizador automático de indicaciones de IA generativa que transforma imágenes simples indicaciones para obtener resultados de StableDiffusion más detallados y visualmente impresionantes, como en este caso, una imagen generada por una indicación genérica (izquierda) frente a su imagen equivalente generada por NeuroPrompt. Intel Labs/Stable DiffusionAquí también, las indicaciones generadas automáticamente obtuvieron mejores resultados que las de los expertos. indicaciones humanas que utilizaron como punto de partida, al menos según la métrica PickScore. A Lal esto no le sorprendió. «Los humanos sólo lo lograrán mediante prueba y error», dice Lal. “Pero ahora tenemos toda esta maquinaria, el ciclo completo que se completa con este aprendizaje por refuerzo. … Es por eso que podemos superar la ingeniería de avisos humanos”. Dado que la calidad estética es notoriamente subjetiva, Lal y su equipo querían darle al usuario cierto control sobre cómo se optimizaba su aviso. En su herramienta, el usuario puede especificar el mensaje original (por ejemplo, «niño a caballo»), así como un artista a emular, un estilo, un formato y otros modificadores. Lal cree que a medida que evolucionan los modelos generativos de IA, ya sea generadores de imágenes o modelos de lenguaje grandes, las extrañas peculiaridades de la dependencia rápida deberían desaparecer. «Creo que es importante que se investiguen este tipo de optimizaciones y luego, en última instancia, se incorporen realmente al modelo base en sí, de modo que no sea necesario un paso de ingeniería complicado y rápido». La ingeniería rápida seguirá viva, con algún nombre. Incluso Si los avisos de ajuste automático se convierten en la norma de la industria, los trabajos de ingeniería de avisos de alguna forma no desaparecerán, dice Tim Cramer, vicepresidente senior de ingeniería de software de Red Hat. Adaptar la IA generativa a las necesidades de la industria es una tarea complicada y de múltiples etapas que seguirá requiriendo que los seres humanos estén al tanto en el futuro previsible. “Tal vez hoy los llamemos ingenieros rápidos. Pero creo que la naturaleza de esa interacción seguirá cambiando a medida que los modelos de IA también sigan cambiando”. —Vasudev Lal, Intel Labs“Creo que habrá ingenieros rápidos durante bastante tiempo y científicos de datos”, dice Cramer. “No se trata sólo de hacer preguntas al LLM y asegurarse de que la respuesta se vea bien. Pero hay una serie de cosas que los ingenieros realmente necesitan poder hacer”. “Es muy fácil hacer un prototipo”, dice Henley. «Es muy difícil producirlo». La ingeniería rápida parece una gran pieza del rompecabezas cuando se construye un prototipo, dice Henley, pero muchas otras consideraciones entran en juego cuando se fabrica un producto de calidad comercial. Los desafíos de fabricar un producto comercial incluyen garantizar la confiabilidad, por ejemplo, fallar con gracia cuando el modelo se desconecta; adaptar la salida del modelo al formato apropiado, ya que muchos casos de uso requieren salidas distintas al texto; pruebas para asegurarse de que el asistente de IA no haga algo dañino ni siquiera en un pequeño número de casos; y garantizar la seguridad, la privacidad y el cumplimiento. Las pruebas y el cumplimiento son particularmente difíciles, dice Henley, ya que las estrategias tradicionales de prueba de desarrollo de software no están adaptadas para los LLM no deterministas. Para cumplir con estas innumerables tareas, muchas grandes empresas están anunciando un nuevo título de trabajo: Large Language Model Operations, o LLMOps, que incluye ingeniería rápida en su ciclo de vida, pero también implica todas las demás tareas necesarias para implementar el producto. Henley dice que los predecesores de LLMOps, los ingenieros de operaciones de aprendizaje automático (MLOps), están en la mejor posición para asumir estos trabajos. Ya sea que los títulos de trabajo sean “ingeniero rápido”, “ingeniero LLMOps” o algo completamente nuevo, la naturaleza del trabajo seguirá evolucionando rápidamente. «Tal vez hoy los llamemos ingenieros rápidos», dice Lal, «pero creo que la naturaleza de esa interacción seguirá cambiando a medida que los modelos de IA también sigan cambiando». con otro tipo de categoría laboral o función laboral”, dice Cramer, “pero no creo que estas cosas vayan a desaparecer pronto. Y el panorama es demasiado loco en este momento. Todo está cambiando mucho. No vamos a resolverlo todo en unos meses”. Henley dice que, hasta cierto punto, en esta fase inicial del campo, la única regla predominante parece ser la ausencia de reglas. «Esto es una especie de salvaje oeste en este momento». él dice.De los artículos de su sitioArtículos relacionados en la Web
Source link
En toda Australia, hasta la fecha gran parte de la atención se ha centrado en comprender el papel de la inteligencia artificial en cada sector y dar esos primeros pasos hacia su adopción. Fue un año de experimentación y exploración. Pero mientras que 2023 fue el año en el que la IA irrumpió en la conciencia generalizada, 2024 parece que será un año más reflexivo, con la regulación del gobierno australiano a medida que la presión de los consumidores obliga a las empresas y a los equipos de TI a dar un paso atrás y analizar adecuadamente los aspectos éticos. Implicaciones detrás de la adopción de la IA. Y para ello, habrá una mirada renovada a la forma en que los datos alimentan los modelos de IA y cómo los científicos que construyen los modelos recopilan y gestionan esos datos. Para que la IA continúe su trayectoria positiva, 2024 también debe ser el año en el que la gobernanza de datos alcance la velocidad de la innovación. Cómo ve CSIRO, la agencia líder de Australia, a la IA Australia está decidida a ser líder en el desarrollo de la IA. La agencia científica nacional, CSIRO, ha establecido un Centro Nacional de IA, que organizó el primer Mes de la IA del país del 15 de noviembre al 15 de diciembre de 2023. VER: El aumento continuo de la IA en 2024 requerirá que la TI australiana supere desafíos importantes. Una de las predicciones clave de la NAIC para la IA en 2024 es que “la IA responsable y la buena gobernanza ocuparán un lugar central”. Para lograrlo, NAIC recomienda que las organizaciones se centren en cuatro prioridades clave: Tener una mejor comprensión del papel que tienen los datos en la IA. Comprender las vulnerabilidades que la IA abre a los datos. Desarrollar mejores procesos sobre cómo se recopilan los datos. Desarrollar mejores formas de aprovechar los datos en los modelos. Como señaló Jade Haar, jefa de privacidad y ética de datos del Banco Nacional de Australia, en las predicciones de NAIC, es necesario que haya un equilibrio entre el deseo de construir modelos a partir de grandes lagos de datos que simplemente estén llenos de la mayor cantidad de datos posible y la gobernanza. valor y obligaciones éticas de recopilar sólo los datos que sean necesarios. «Si ChatGPT nos ha enseñado algo, es que lo que comúnmente se conoce como información ‘pública’ no es lo mismo que información ‘libre y abierta'», dijo Haar según citó NAIC. “Los compradores de soluciones de IA deben seguir preguntando sobre la procedencia y los derechos de los datos o simplemente aceptar lo desconocido. Estos últimos son menos atractivos para las entidades públicas o reguladas”. Por qué es una urgencia apremiante Este llamado a un enfoque renovado en la gobernanza de datos en el camino hacia la adopción de la IA es oportuno. Una de las consecuencias que tuvo la IA el año pasado es que, ahora, todos los sectores quieren utilizarla, pero pueden correr un gran riesgo al hacerlo sin darse cuenta. VER: La estrategia de seguridad cibernética de seis escudos de Australia podría depender de qué tan bien la nación gestione los vastos conjuntos de datos. Por ejemplo, en su propio artículo de predicciones para 2024, Australian Property Investor señaló: “La IA está impulsando una adquisición de datos aún mayor, procesando el flujo interminable de datos que se produce a medida que diseñamos, construimos, compramos, vendemos y vivimos en nuestros hogares… Los macrodatos también están impulsando la transformación de industrias que se han quedado rezagadas en la adopción de la digitalización, incluidos los ayuntamientos y el gobierno local, la construcción y la logística”. Más cobertura de Australia Mientras tanto, si bien las pequeñas y medianas empresas han tardado en adoptar la IA, de las que participan en el comercio electrónico, más del 40% de las PYMES están utilizando la IA de alguna manera. Como destaca un artículo de Forbes Australia, la IA se está impulsando como una forma para que estas empresas lleguen a la Generación Z y otros consumidores “emergentes”. Para estos sectores, combinar datos de clientes e inteligencia artificial les permite orientar mejor los esfuerzos de marketing y ventas a estos clientes. Lo preocupante es que la gobernanza de datos suele ser una preocupación secundaria. Las organizaciones australianas entienden que los datos son un riesgo. La profundidad y amplitud de las violaciones de datos que han ocurrido en los últimos años lo han dejado claro. También son conscientes de que el gobierno está realizando esfuerzos para aumentar la regulación en la gobernanza de datos como parte de su amplia estrategia de seguridad cibernética. Sin embargo, a pesar de esto, el Instituto de Gobernanza de Australia descubrió recientemente que casi el 60% de las organizaciones tienen juntas directivas que no comprenden los desafíos de la gobernanza de datos de la organización. Además, las tecnologías emergentes y la IA son dos de los tres mayores riesgos en torno a la gobernanza de datos, siendo el otro los ciberataques directos. La promesa de la IA es liderar las juntas directivas y otros altos ejecutivos para presionar a las organizaciones para que adopten la tecnología sin considerar primero los requisitos subyacentes de gobernanza de datos. VER: Australia ha estado adoptando la IA generativa mientras intenta anticiparse a los riesgos. «No podemos subestimar el papel de la gobernanza a medida que avanzamos hacia la creación y el uso seguro, responsable y ético de la IA y la protección de datos vitales», dijo en el informe la presidenta y presidenta del Instituto de Gobernanza de Australia, Pauline Vamos. El papel de la TI en la promoción de la gobernanza de datos La realidad es que para que los modelos y aplicaciones de IA tengan éxito, las organizaciones necesitan aprovechar en gran medida sus datos, ya sea recopilando vastos lagos de big data de manera indiscriminada o siendo más específicos en los datos que recopilan e incluyen. en modelos. De cualquier manera, esto abre los datos a nuevos niveles de riesgo y, actualmente, las juntas directivas y los ejecutivos no están necesariamente preparados para afrontar este desafío. Esto significa que recaerá en los equipos de TI defender la gobernanza de datos dentro de la organización. A medida que el entusiasmo por el desarrollo de la IA se enfríe en 2024, habrá un enfoque renovado en cómo las organizaciones manejan y gestionan los datos de forma étnica. Por razones tanto regulatorias como de reputación, los profesionales de TI tienen la oportunidad de demostrar liderazgo y proteger sus organizaciones al mismo tiempo que ofrecen los beneficios de TI.