Los modelos de lenguaje son herramientas poderosas que pueden generar lenguaje natural para una variedad de tareas, como resumir, traducir, responder preguntas y escribir ensayos. Pero también resulta costoso entrenarlos y ejecutarlos, especialmente para dominios especializados que requieren alta precisión y baja latencia. Ahí es donde entra en juego la última investigación de Apple sobre IA. El fabricante del iPhone acaba de publicar un importante avance de ingeniería en IA, creando modelos de lenguaje que ofrecen un rendimiento de alto nivel con presupuestos limitados. El artículo más reciente del equipo, “Modelos de lenguajes especializados con inferencia económica a partir de datos de dominio limitados”, presenta un enfoque rentable para el desarrollo de la IA, ofreciendo un salvavidas a las empresas que antes estaban marginadas por los altos costos de las tecnologías de IA sofisticadas. La nueva revelación, que está ganando atención rápidamente, incluido un artículo en los Daily Papers de Hugging Face, supera la incertidumbre financiera que a menudo envuelve los nuevos proyectos de IA. Los investigadores han identificado cuatro ámbitos de costes: el presupuesto de preformación, el presupuesto de especialización, el presupuesto de inferencia y el tamaño del conjunto de formación en el dominio. Sostienen que, si se gestionan sabiamente estos gastos, se pueden crear modelos de IA que sean asequibles y eficaces. Pioneros en el procesamiento de lenguaje de bajo costo El dilema, como lo describe el equipo, es que «los grandes modelos de lenguaje han surgido como una herramienta versátil, pero son difíciles de aplicar a tareas que carecen de grandes presupuestos de inferencia y grandes conjuntos de entrenamiento en el dominio». Su trabajo responde ofreciendo dos vías distintas: hiperredes y combinaciones de expertos para aquellos con generosos presupuestos de capacitación previa, y modelos más pequeños y entrenados selectivamente para entornos con presupuestos más ajustados. Evento VB The AI ​​Impact Tour – Nueva York Estaremos en Nueva York el 29 de febrero en asociación con Microsoft para discutir cómo equilibrar los riesgos y las recompensas de las aplicaciones de IA. Solicite una invitación al evento exclusivo a continuación. Solicite una invitación En la investigación, los autores compararon diferentes enfoques de la literatura sobre aprendizaje automático, como hiperredes, combinación de expertos, muestreo de importancia y destilación, y los evaluaron en tres dominios: biomédico, legal y noticias. Descubrieron que diferentes métodos funcionan mejor según la configuración. Por ejemplo, las hiperredes y la combinación de expertos tienen una mayor perplejidad para grandes presupuestos de preformación, mientras que los modelos pequeños entrenados en conjuntos de datos muestreados importantes son atractivos para grandes presupuestos de especialización. El documento también proporciona pautas prácticas para elegir el mejor método para un dominio y presupuesto determinados. Los autores afirman que su trabajo puede ayudar a «hacer que los modelos de lenguaje sean más accesibles y útiles para una gama más amplia de aplicaciones y usuarios». Revolucionando la industria con modelos conscientes del presupuesto El artículo es parte de un creciente cuerpo de investigación sobre cómo hacer que los modelos de lenguaje sean más eficientes y adaptables. Por ejemplo, Hugging Face, una empresa que proporciona herramientas y modelos de código abierto para el procesamiento del lenguaje natural, lanzó recientemente una iniciativa con Google que facilita a los usuarios la creación y el intercambio de modelos de lenguaje especializados para diversos dominios e idiomas. Si bien se necesita una mayor evaluación de las tareas posteriores, la investigación destaca las compensaciones que enfrentan las empresas entre volver a capacitar grandes modelos de IA o adaptar modelos más pequeños y eficientes. Con las técnicas adecuadas, ambos caminos pueden conducir a resultados precisos. En resumen, la investigación concluye que el mejor modelo de lenguaje no es el más grande, sino el más adecuado. La misión de VentureBeat es ser una plaza digital para que los tomadores de decisiones técnicas adquieran conocimientos sobre tecnología empresarial transformadora y realicen transacciones. Descubra nuestros Briefings.

Source link