¿Quieres ideas más inteligentes en tu bandeja de entrada? Regístrese en nuestros boletines semanales para obtener solo lo que importa a los líderes de IA, datos y seguridad empresariales. Suscríbete ahora un nuevo estudio completo ha revelado que los modelos de inteligencia artificial de código abierto consumen significativamente más recursos informáticos que sus competidores de código cerrado cuando realizan tareas idénticas, potencialmente socavando sus ventajas de costos y reformulando cómo las empresas evalúan las estrategias de implementación de IA. La investigación, realizada por la firma de IA Nous Research, encontró que los modelos de peso abierto usan entre 1.5 y 4 veces más tokens, las unidades básicas del cálculo de IA, que los modelos cerrados como los de OpenAi y Anthrope. Para preguntas de conocimiento simple, la brecha se amplió drásticamente, con algunos modelos abiertos que usan hasta 10 veces más tokens. Medición de la eficiencia del pensamiento en modelos de razonamiento: el BenchmarkHtps que faltan: //t.co/b1e1rjx6vzwe uso de token medido en modelos de razonamiento: salida de modelos abiertos 1.5-4x más tokens que modelos cerrados en tareas idénticas, pero con una gran varianza dependiendo de un tipo de tarea (up… pic.twitter.com/ly1083won8-Investigación nous (nous investigación (inestención (nousear). Los modelos de peso usan 1.5–4 × más tokens que los cerrados (hasta 10 × para preguntas de conocimiento simples), lo que los hace a veces más caros por consulta a pesar de los costos por vía de información más bajas «, escribieron los investigadores en su informe publicados el miércoles. Los resultados desafían una suposición prevaleciente en la industria de la IA que la industria de la AI que los modelos de origen abierto ofrecen ventajas económicas claras sobre las alternativas de propiedad de la propiedad. Mientras que los modelos abiertos de la fuente abierta a la costa de costo de la fuente. Compensación si requieren más tokens para razonar sobre un problema determinado «. https://bit.ly/4mwgngo El costo real de la IA: por qué los modelos ‘más baratos’ pueden romper su presupuesto, la investigación examinó 19 modelos de IA diferentes en tres categorías de tareas: preguntas de conocimiento básico, problemas matemáticos y rompecabezas lógicos: un estudio de costo de token «. «La eficiencia del token es una métrica crítica por varias razones prácticas», señalaron los investigadores. «Cadenas de pensamiento» para resolver problemas complejos. Los modelos de OpenAI, particularmente sus variantes GPT-OSS de código abierto y recién lanzados, demostraron una eficiencia de token excepcional, especialmente para problemas matemáticos. «El modelo de peso abierto más eficiente en todos los dominios», mientras que los modelos más nuevos de compañías como Mistral mostraron «uso de token excepcionalmente alto» como valores atípicos. Las alternativas de código abierto pueden costar significativamente más a pesar de los precios más bajos. de los modelos de peso cerrado a menudo compensan los precios de API más altos de esos modelos «, encontraron los investigadores al analizar los costos de inferencia totales. El estudio también reveló que los proveedores de modelos de código cerrado parecen optimizar activamente la eficiencia.» Los modelos de peso cerrado han sido iterativamente optimizados para usar menos tokens para reducir el costo de la inferencia «, los modelos de fuente abierta han aumentado su rentabilidad». La sobrecarga computacional varía dramáticamente entre los proveedores de IA, con algunos modelos que usan más de 1,000 tokens para el razonamiento interno en tareas simples. Abordar esto, los investigadores utilizaron tokens de finalización: las unidades computacionales totales facturadas para cada consulta, como un proxy para el esfuerzo de razonamiento. Los problemas de competencia matemática del American Invitational Mathematics (AIME). El uso y puede contrarrestar la degradación del contexto durante las tareas de razonamiento desafiantes «, escribieron. El lanzamiento de los modelos GPT-ASS de código abierto de OpenAI, que demuestran la eficiencia de última generación con» cot accesible libremente «, podría servir como un punto de referencia para optimizar otros modelos de fuente abierta. El código de datos de investigación completo y la evaluación de la industria están disponibles en Github, permitiendo a otros investigadores y extendidas los hallazgos de Ats más potentes. Capacidades, este estudio sugiere que la verdadera competencia puede no ser sobre quién puede construir la IA más inteligente, pero quién puede construir la más eficiente. Desde cambios regulatorios hasta implementaciones prácticas, puede compartir ideas para el ROI máximo.