Únase a los líderes en Boston el 27 de marzo para una noche exclusiva de networking, conocimientos y conversaciones. Solicite una invitación aquí. Fiel a su palabra, la startup xAI del multimillonario líder multiempresa Elon Musk hizo hoy su primer modelo de lenguaje grande (LLM) Grok de código abierto. La medida, que Musk había proclamado anteriormente que sucedería esta semana, ahora permite a cualquier otro empresario, programador, empresa o individuo tomar el peso de Grok: la fuerza de las conexiones entre las “neuronas” artificiales del modelo, o módulos de software que permiten que el modelo tomar decisiones, aceptar entradas y proporcionar resultados en forma de texto, y otra documentación asociada, y utilizar una copia del modelo para lo que quieran, incluso para aplicaciones comerciales. «Estamos lanzando los pesos del modelo base y la arquitectura de red de Grok-1, nuestro modelo de lenguaje grande», anunció la compañía en una publicación de blog. «Grok-1 es un modelo de mezcla de expertos de 314 mil millones de parámetros entrenado desde cero por xAI». Los interesados ​​pueden descargar el código de Grok en su página de Github o mediante un enlace de torrent. Evento VB The AI ​​Impact Tour – Atlanta Continuando con nuestro recorrido, nos dirigimos a Atlanta para la parada del AI Impact Tour el 10 de abril. Este evento exclusivo al que solo se puede acceder por invitación, en asociación con Microsoft, incluirá debates sobre cómo la IA generativa está transformando la fuerza laboral de seguridad. El espacio es limitado, así que solicite una invitación hoy. Solicite una invitación Qué significa el código abierto de Grok Los parámetros se refieren a los pesos y sesgos que gobiernan el modelo: cuantos más parámetros, generalmente, más avanzado, complejo y eficaz será el modelo. Con 314 mil millones de parámetros, Grok está muy por delante de competidores de código abierto como Meta’s Llama 2 (70 mil millones de parámetros) y Mistral 8x7B (12 mil millones de parámetros). Grok fue de código abierto bajo una licencia Apache 2.0, que permite el uso, modificaciones y distribución comerciales, aunque no puede ser una marca registrada y no existe ninguna responsabilidad o garantía que los usuarios reciban con él. Además, deben reproducir la licencia original y el aviso de derechos de autor, e indicar los cambios que han realizado. La arquitectura de Grok, desarrollada utilizando una pila de capacitación personalizada sobre JAX y Rust en octubre de 2023, incorpora enfoques innovadores para el diseño de redes neuronales. El modelo utiliza el 25% de sus pesos para un token determinado, una estrategia que mejora su eficiencia y efectividad. Grok se lanzó inicialmente como un modelo propietario o de “código cerrado” en noviembre de 2023 y, hasta ahora, solo era accesible en la plataforma separada de Musk. sino relacionada con la red social X (antes Twitter), concretamente a través del servicio de suscripción de pago X Premium+, que cuesta 16 dólares al mes o 168 dólares al año. Sin embargo, el comunicado de Grok no incluye el corpus completo de sus datos de entrenamiento. Esto realmente no importa para usar el modelo, ya que ya ha sido entrenado, pero no permite a los usuarios ver de qué aprendió, presumiblemente publicaciones de texto de usuario en X (la publicación del blog de xAI lo indica de manera opaca como «Modelo base entrenado en una gran cantidad de datos de texto, no ajustado para ninguna tarea en particular”). Tampoco incluye ninguna conexión a la información en tiempo real disponible en X, que Musk inicialmente promocionó como un atributo importante de Grok sobre otros LLM. Para eso, los usuarios aún deberán suscribirse a la versión paga en X. Más que un simple movimiento tecnológico: una estrategia comercial y de relaciones públicas. Diseñada para rivalizar con ChatGPT creada por OpenAI, la compañía que Musk cofundó y de la que se separó amargamente en 2018 y ahora. Con quien compite, Grok lleva el nombre del término del argot que significa “comprensión” y se describe como “una IA modelada según la Guía del autoestopista galáctico”, la serie radiofónica y de libros satíricos de ciencia ficción fundamental de los años 70 del autor británico Douglas Adams. (Se adaptó a una película importante en 2005). Musk ha posicionado favorablemente a Grok como una versión más humorística y sin censura de ChatGPT y otros LLM líderes, una postura que ha adquirido un atractivo renovado entre los usuarios en general a la luz de las quejas sobre la censura de la IA y las vergonzosas generaciones de imágenes raciales confusas y posturas ideológicas cuestionables de Google Gemini. (Gemini sugirió al menos en un ejemplo que los tweets de Musk posiblemente eran tan malos para la sociedad como el líder nazi Adolf Hitler). Por supuesto, Gemini ha sido criticado rotundamente por Musk y otros líderes tecnológicos influyentes, incluido el cofundador y pionero de la web de a16z, Marc Andreessen. El abastecimiento abierto de Grok también es claramente una postura ideológica útil para Musk en su demanda y críticas generales a OpenAI, a la que demandó recientemente, acusando a su antigua empresa de abandonar su “acuerdo fundacional” para operar como una organización sin fines de lucro. OpenAI publicó correos electrónicos en su defensa ante el tribunal de la opinión pública, al menos, indicando que Musk estaba consciente y posiblemente apoyaba su alejamiento hacia tecnología patentada con fines de lucro. La comunidad de IA en X ya ha reaccionado al lanzamiento con curiosidad y entusiasmo. En particular, la comunidad técnica ha señalado el uso de GeGLU en el modelo en capas de avance y su enfoque de normalización, con un guiño a la intrigante técnica de norma sándwich. Incluso los empleados de OpenAI han publicado su interés en el modelo. ¡Algunos comentarios sobre el lanzamiento del código Grok-1 en JAX! https://t.co/FpDCrCgz3l Mirando rápidamente: – modelo muy bien escrito – las reglas de partición para fragmentación siguen el antiguo estilo de t5x – usaron haiku pero no sería demasiado difícil actualice a flax: usan shard_map en las capas MoE para…— Boris Dayma ?️ (@borisdayma) 17 de marzo de 2024 Como tal, es probable que el lanzamiento de Grok ejerza presión sobre todos los demás proveedores de LLM, especialmente sobre otros rivales de código abierto. , para justificar ante los usuarios que son superiores. La misión de VentureBeat es ser una plaza digital para que los tomadores de decisiones técnicas adquieran conocimientos sobre tecnología empresarial transformadora y realicen transacciones. Descubra nuestros Briefings.

Source link