Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder en la industria. Más información xAI de Elon Musk ha causado revuelo la semana pasada con el lanzamiento de su chatbot Grok-2 de modelo de lenguaje grande (LLM), disponible a través de una suscripción mensual de $8 USD en la red social X. Ahora, ambas versiones de Grok-2 (Grok-2 y Grok-2 mini, esta última diseñada para ser menos potente pero más rápida) han aumentado la velocidad a la que pueden analizar información y generar respuestas después de que dos desarrolladores de xAI reescribieran la pila de código de inferencia por completo en los últimos tres días. Como publicó el desarrollador de xAI Igor Babuschkin esta tarde en la red social X bajo su nombre de usuario @ibab: «Grok 2 mini ahora es dos veces más rápido que ayer. En los últimos tres días, @lm_zheng y @MalekiSaeed reescribieron nuestra pila de inferencia desde cero usando SGLang. Esto también nos ha permitido servir el gran modelo Grok 2, que requiere inferencia de múltiples host, a una velocidad razonable. Ambos modelos no solo se volvieron más rápidos, sino también ligeramente más precisos. ¡Estén atentos para futuras mejoras de velocidad!” Los dos desarrolladores responsables son Lianmin Zheng y Saeed Maleki, según la publicación de Babuschkin. Para reescribir la inferencia para Grok-2, confiaron en SGLang, un sistema de código abierto (con licencia Apache 2.0) altamente eficiente para ejecutar programas de modelos de lenguaje complejos, logrando hasta 6,4 veces más rendimiento que los sistemas existentes. SGLang fue desarrollado por investigadores de la Universidad de Stanford, la Universidad de California, Berkeley, la Universidad Texas A&M y la Universidad Jiao Tong de Shanghai e integra un lenguaje frontend con un entorno de ejecución backend para simplificar la programación de aplicaciones de modelos de lenguaje. El sistema es versátil, admite muchos modelos, incluidos Llama, Mistral y LLaVA, y es compatible con modelos de peso abierto y basados ​​en API como GPT-4 de OpenAI. La capacidad de SGLang para optimizar la ejecución a través de la reutilización automática de caché y el paralelismo dentro de un solo programa lo convierte en una herramienta poderosa para los desarrolladores que trabajan con modelos de lenguaje a gran escala. Español Aspectos destacados del rendimiento de Grok-2 y Grok-2-Mini Además, en la última actualización de la tabla de clasificación de terceros Lmsys Chatbot Arena que califica el rendimiento del modelo de IA, el Grok-2 principal se ha asegurado el segundo puesto con una impresionante puntuación Arena de 1293, basada en 6686 votos. Esto coloca efectivamente a Grok-2 en el segundo puesto (apropiadamente) para los modelos de IA más poderosos del mundo, empatado con el modelo Gemini-1.5 Pro de Google, y justo detrás de la última versión de ChatGPT-4o de OpenAI. Grok-2-mini, que también se ha beneficiado de las mejoras recientes, ha subido a la posición número 5, con una puntuación Arena de 1268 de 7266 votos, justo detrás de GPT-4o mini y Claude 3.5 Sonnet. Ambos modelos son propiedad de xAI, lo que refleja el compromiso de la empresa con el avance de la tecnología de IA. Grok-2 se ha distinguido, particularmente en tareas matemáticas, donde ocupa el puesto número 1. El modelo también mantiene posiciones sólidas en varias otras categorías, incluidas las indicaciones difíciles, la codificación y el seguimiento de instrucciones, donde se ubica constantemente cerca de la cima. Este desempeño coloca a Grok-2 por delante de otros modelos destacados como GPT-4o de OpenAI (mayo de 2024), que ahora ocupa el puesto número 4. Desarrollos futuros Según una respuesta de Babuschkin en X, la principal ventaja de usar Grok-2-mini sobre el modelo Grok-2 completo es su velocidad mejorada. Sí, esa es la razón principal por ahora. Lo haremos incluso más rápido de lo que es ahora. — ibab (@ibab) 23 de agosto de 2024 Sin embargo, Babuschkin prometió que xAI mejoraría aún más la velocidad de procesamiento de Grok-2-mini, lo que podría convertirlo en una opción aún más atractiva para los usuarios que buscan un alto rendimiento con una menor sobrecarga computacional. La incorporación de Grok-2 y Grok-2-mini a la tabla de clasificación de Chatbot Arena y su posterior desempeño han atraído una atención significativa dentro de la comunidad de IA. El éxito de los modelos es un testimonio de la innovación continua de xAI y su compromiso de ampliar los límites de lo que la IA puede lograr. A medida que xAI continúa refinando sus modelos, el panorama de la IA puede esperar más mejoras tanto en velocidad como en precisión, manteniendo a Grok-2 y Grok-2-mini a la vanguardia del desarrollo de la IA. VB Daily ¡Manténgase informado! Reciba las últimas noticias en su bandeja de entrada todos los días Al suscribirse, acepta los Términos de servicio de VentureBeat. Gracias por suscribirse. Consulte más boletines de VB aquí. Se produjo un error.