La empresa de almacenamiento de datos basada en la nube Snowflake ha desarrollado un modelo de lenguaje grande (LLM) de código abierto, Arctic, para enfrentarse a modelos como Llama 3 de Meta, la familia de modelos de Mistral, Grok-1 de xAI y DBRX de Databricks. en tareas empresariales como generación de SQL, generación de código y seguimiento de instrucciones, dijo Snowflake el miércoles. Se puede acceder a través del servicio de inteligencia artificial y aprendizaje automático administrado de Snowflake, Cortex, para inferencia sin servidor a través de su oferta de nube de datos y a través de proveedores de modelos como Hugging Face. , Lamini, AWS, Azure, Nvidia, Perplexity y Together AI, entre otras, dijo la compañía. Los usuarios empresariales pueden descargarlo de Hugging Face y obtener inferencias y recetas de ajuste del repositorio Github de Snowflake, dijo la compañía. Snowflake Arctic frente a otros LLM Fundamentalmente, Snowflake’s Arctic es muy similar a la mayoría de los otros LLM de código abierto, que también utilizan la combinación de arquitectura de expertos (MoE) y esto incluye DBRX. Grok-1 y Mixtral, entre otros. La arquitectura MoE construye un modelo de IA a partir de modelos más pequeños entrenados en diferentes conjuntos de datos, y luego estos modelos más pequeños se combinan en un modelo que sobresale en la resolución de diferentes tipos de problemas. Arctic es una combinación de 128 modelos más pequeños. Una excepción entre los modelos de código abierto en el mercado es Llama 3 de Meta, que tiene una arquitectura de modelo transformador, una evolución de la arquitectura codificador-decodificador desarrollada por Google en 2017 con fines de traducción. La diferencia entre las dos arquitecturas, según Scott Rozen-Levy, director de práctica tecnológica de la firma de servicios digitales West Monroe, es que un modelo MoE permite una capacitación más eficiente al ser más eficiente en computación. «Es una forma de comparar la complejidad y sus implicaciones en la calidad de los LLM, ya sean modelos MoE o modelos completamente densos», dijo Rozen-Levy. Snowflake afirma que su modelo Arctic supera a la mayoría de los modelos de código abierto y a algunos de código cerrado con menos parámetros y también utiliza menos potencia informática para entrenar. “Arctic activa aproximadamente un 50% menos de parámetros que DBRX y un 75% menos que Llama 3 70B. durante la inferencia o el entrenamiento”, dijo la compañía, y agregó que utiliza sólo dos de su combinación de modelos expertos a la vez, o alrededor de 17 mil millones de sus 480 mil millones de parámetros. DBRX y Grok-1, que tienen 132 mil millones de parámetros y 314 mil millones de parámetros respectivamente, también activan menos parámetros en cualquier entrada determinada. Mientras que Grok-1 utiliza dos de sus ocho modelos MoE en cualquier entrada dada, DBRX activa sólo 36 mil millones de sus 132 mil millones de parámetros. Sin embargo, el analista jefe de la firma de investigación de semiconductores Semianalysis, Dylan Patel, dijo que Llama 3 sigue siendo significativamente mejor que Arctic por al menos menos una medida. «En términos de costos, el modelo Arctic de 475 mil millones de parámetros es mejor en FLOPS, pero no en memoria», dijo Patel, refiriéndose a la capacidad de computación y la memoria que requiere Arctic. Además, dijo Patel, Arctic es muy adecuado para la inferencia fuera de línea. en lugar de inferencia en línea. La inferencia fuera de línea, también conocida como inferencia por lotes, es un proceso en el que las predicciones se ejecutan, almacenan y luego se presentan a pedido. Por el contrario, la inferencia en línea, también conocida como inferencia dinámica, genera predicciones en tiempo real. Evaluación comparativa de los puntos de referencia Arctic supera a los modelos de código abierto como DBRX y Mixtral-8x7B en codificación y puntos de referencia de generación de SQL como HumanEval+, MBPP+ y Spider, según Snowflake, pero no supera a muchos modelos, incluido Llama 3-70B, en comprensión del lenguaje general (MMLU), MATH y otros puntos de referencia. Los expertos afirman que aquí es donde los parámetros adicionales en otros modelos como Llama 3 probablemente agreguen beneficios. “El hecho de que Llama 3-70B funcione mucho mejor que Arctic en los puntos de referencia GSM8K y MMLU es un buen indicador de dónde se usó Llama 3. «Todas esas neuronas adicionales y dónde podría fallar esta versión de Arctic», dijo Mike Finley, CTO de Answer Rocket, un proveedor de software de análisis. «Para entender qué tan bien funciona realmente Arctic, una empresa debe poner una de sus propias cargas de modelos en el ritmos en lugar de confiar en pruebas académicas”, dijo Finley, y agregó que vale la pena probar si Arctic funcionará bien en esquemas específicos y dialectos SQL para una empresa específica, aunque funciona bien en el punto de referencia Spider. Usuarios empresariales, según Bradley, analista jefe de Omdia Shimmin, no debería centrarse demasiado en los puntos de referencia para comparar modelos. “La única puntuación relativamente objetiva que tenemos en este momento es LMSYS Arena Leaderboard, que recopila datos de interacciones reales de los usuarios. La única medida verdadera sigue siendo la evaluación empírica de un modelo in situ dentro del contexto de su caso de uso en perspectiva”, dijo Shimmin. ¿Por qué Snowflake ofrece Arctic bajo la licencia Apache 2.0? Snowflake ofrece Arctic y sus otros modelos de incrustación de texto junto con código plantillas y pesos de modelo bajo la licencia Apache 2.0, que permite el uso comercial sin ningún costo de licencia. Por el contrario, la familia de modelos de Llama de Meta tiene una licencia más restrictiva para uso comercial. La estrategia de pasar a ser de código completamente abierto podría ser beneficiosa para Snowflake en todo muchos frentes, dijeron los analistas. “Con este enfoque, Snowflake logra mantener la lógica que es verdaderamente patentada y al mismo tiempo permite que otras personas modifiquen y mejoren los resultados del modelo. En IA, el modelo es una salida, no un código fuente”, dijo Hyoun Park, analista jefe de Amalgam Insights. “Los verdaderos métodos y datos propietarios para la IA son los procesos de entrenamiento para el modelo, los datos de entrenamiento utilizados y cualquier método propietario. para optimizar el hardware y los recursos para el proceso de capacitación”, dijo Park. La otra ventaja que podría ver Snowflake es un mayor interés de los desarrolladores, según Paul Nashawaty, líder de práctica de modernización y desarrollo de aplicaciones en The Futurum Research. “Componentes de código abierto de su «El modelo puede atraer contribuciones de desarrolladores externos, lo que lleva a mejoras, correcciones de errores y nuevas características que benefician a Snowflake y a sus usuarios», explicó el analista, añadiendo que ser de código abierto podría añadir más cuota de mercado a través de «pura buena voluntad». Rozen de West Monroe -Levy también estuvo de acuerdo con Nashawaty, pero señaló que ser pro código abierto no significa necesariamente que Snowflake lanzará todo lo que construye bajo la misma licencia. “Quizás Snowflake tenga modelos más potentes que no planean lanzar en código abierto. Lanzar LLM en una forma totalmente de código abierto es quizás un juego moral y/o de relaciones públicas contra la concentración total de IA por parte de una institución”, explicó el analista. Otros modelos de Snowflake A principios de este mes, la compañía lanzó una familia de cinco modelos con incrustaciones de texto. con diferentes tamaños de parámetros, afirmando que estos funcionaron mejor que otros modelos de incrustaciones. Los proveedores de LLM lanzan cada vez más variantes de modelos para permitir a las empresas elegir entre latencia y precisión, según los casos de uso. Si bien un modelo con más parámetros puede ser relativamente más preciso, el que tiene menos parámetros requiere menos cálculo, requiere menos tiempo para responder y, por lo tanto, cuesta menos. “Los modelos brindan a las empresas una nueva ventaja al combinar conjuntos de datos propietarios con LLM como parte de una generación aumentada de recuperación (RAG) o un servicio de búsqueda semántica”, escribió la compañía en una publicación de blog, y agregó que estos modelos fueron el resultado de la experiencia técnica y el conocimiento que obtuvo de la adquisición de Neeva en mayo pasado. son de código abierto y están disponibles en Hugging Face para uso inmediato y su acceso a través de Cortex se encuentra actualmente en versión preliminar. Copyright © 2024 IDG Communications, Inc.