Puede que valga la pena abandonar las esperanzas de una carrera en ingeniería de avisos, ya que una nueva investigación de los laboratorios de VMware muestra que los modelos de IA son mucho más adecuados para generar sus propios avisos. Basándose en pruebas que compararon indicaciones de «pensamiento positivo» generadas por humanos con «optimización sistemática de indicaciones» o indicaciones generadas por IA, los investigadores descubrieron que los procesos automatizados arrojaban mejores resultados. Los investigadores principales, Rick Battle y Teja Gollapudi, descubrieron que el uso de un «optimizador de indicaciones automatizado» ”era el método más eficaz para “mejorar el rendimiento” independientemente del tamaño del modelo. El estudio también encontró que las indicaciones optimizadas por IA que obtuvieron las mejores puntuaciones en sus métricas de prueba también exhibieron un «grado de peculiaridad» inesperado. «Como se anticipó, las indicaciones que se sometieron a optimización automática igualaron o superaron consistentemente la efectividad de nuestras indicaciones de «pensamiento positivo» generadas manualmente en casi todos los casos», dijo la investigación. Aunque el artículo describe el acto de la ingeniería rápida como un «esfuerzo agradable», los investigadores también argumentaron que el estudio muestra claramente que la ingeniería rápida humana es «ineficiente en términos de tiempo». Esto fue especialmente cierto, dijeron los investigadores, al evaluar sistemáticamente todas las modificaciones desde un punto de vista científico. Los casos en los que la ingeniería de indicaciones humanas superó a las indicaciones automatizadas se limitaron a un puñado de pruebas en Mistral-7B y Llama2-70B. La investigación casi no indicó una tendencia clara al abordar la ingeniería rápida desde un enfoque generado por humanos: «la única tendencia real puede ser la ausencia de tendencia», afirmó. A la luz de los datos, los dos investigadores expusieron su justificación para la ingeniería rápida como una entero. “Lo que es mejor para cualquier modelo, conjunto de datos y estrategia de estímulo determinado probablemente sea específico de la combinación particular en cuestión. Por lo tanto, pasamos de ajustar manualmente el mensaje del sistema con un «pensamiento positivo» optimista a una optimización automática», dice la investigación. La ingeniería rápida no es una apuesta segura en el mercado laboral La ingeniería rápida es un proceso enormemente importante en el desarrollo de la IA. ya que el ajuste fino de las entradas de IA ayuda a los modelos a operar en su máxima extensión, utilizando aspectos potencialmente no explotados de sus datos, según Bartek Roszak, jefe de IA en STX Next. “La ingeniería rápida es importante porque nos permite extraer precisamente lo que necesitamos. necesidad de los LLM”, dijo a ITPro. Sin embargo, como sugiere esta nueva investigación, esta es una tarea cada vez más vulnerable a la automatización desde la tecnología exacta que busca utilizar. Ampliando su investigación, Battle concluyó que los humanos nunca más deberían tener que optimizar manualmente un mensaje. Battle criticó además el proceso de un ingeniero de avisos humano que pierde el tiempo teniendo que «descubrir» una combinación efectiva de palabras. Battle espera que esta investigación convenza a los futuros ingenieros de avisos de ir más allá de la ingeniería de avisos manual, aconsejando a los usuarios de IA que en su lugar «desarrollen un sistema de puntuación». métrica” para que el modelo pueda entrenarse a sí mismo. Roszak también miró hacia un futuro de autonomía de la IA en el ámbito de la ingeniería rápida, sugiriendo que esto eventualmente se convertirá en una habilidad obsoleta. “Idealmente, todos podrían interactuar con los LLM, y si alguien proporcionara una pista vaga, el LLM participaría pedir detalles y ayudar a refinar el mensaje en sí”, dijo Roszak. «Estos avances podrían conducir a un futuro en el que la ingeniería rápida y profunda ya no sea una habilidad especializada», añadió. Si las IA pueden entrenarse para crear sus propias indicaciones, el papel del ingeniero de indicaciones humano podría quedar muerto. Sin embargo, eso no quiere decir que no haya otras áreas en las que abunda la participación humana en el ámbito de la optimización de la IA. «La evolución de las trayectorias profesionales en IA probablemente girará hacia la supervisión, la programación ética y la aplicación innovadora de los resultados de la IA», dijo a ITPro Peter Wood, CTO de Spectrum Search. Un tipo diferente de ingeniero rápido también podría quedarse, según a Peter Van Der Putten, científico principal y director de Pegasystems. En declaraciones a ITPro, Van Der Putten dijo que a largo plazo probablemente habrá un mayor enfoque en una comprensión más global y a nivel empresarial de la ingeniería rápida. “Los ingenieros rápidos se centrarán mucho más en la industrialización, desde la creación de plantillas dinámicas hasta , conectando la IA con bases de conocimiento y motores de búsqueda, para construir infraestructuras avanzadas de agentes”, dijo Van Der Putten. Aunque la ingeniería rápida sigue siendo una necesidad en el floreciente campo de la capacitación y el uso de la IA, el personal de la industria tecnológica deberá asegurarse de estar a la vanguardia si quiere que sus habilidades sean útiles. “En este momento, el trabajo de un ingeniero puntual es clave para la utilización eficaz de los LLM; sin embargo, la investigación busca activamente formas de hacer que este trabajo quede obsoleto”, afirmó Roszak.

Source link