Únase a nuestros boletines diarios y semanales para recibir las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder en la industria. Más información Según se informa, OpenAI está considerando una crisis de efectivo, pero eso no impide que la preeminente empresa de IA generativa continúe lanzando un flujo constante de nuevos modelos y actualizaciones. Ayer, la empresa publicó silenciosamente una página web que anuncia un nuevo modelo de lenguaje grande (LLM): GPT-4o Long Output, que es una variación de su modelo característico GPT-4o de mayo, pero con un tamaño de salida enormemente extendido: hasta 64.000 tokens de salida en lugar de los 4.000 iniciales de GPT-4o, un aumento de 16 veces. Los tokens, como recordará, se refieren a las representaciones numéricas de conceptos, construcciones gramaticales y combinaciones de letras y números organizados en función de su significado semántico detrás de escena de un LLM. La palabra «Hola» es un token, por ejemplo, pero también lo es «hi». Puede ver una demostración interactiva de tokens en acción a través del Tokenizer de OpenAI aquí. El investigador de aprendizaje automático Simon Willison también tiene un excelente codificador/decodificador de tokens interactivo. Al ofrecer un aumento de 16 veces en las salidas de tokens con la nueva variante de salida larga GPT-4o, OpenAI ahora brinda a los usuarios, y más específicamente, a los desarrolladores externos que construyen sobre su interfaz de programación de aplicaciones (API), la oportunidad de que el chatbot devuelva respuestas mucho más largas, de hasta una novela de aproximadamente 200 páginas. ¿Por qué OpenAI lanza un modelo de salida más largo? La decisión de OpenAI de introducir esta capacidad de salida extendida se debe a los comentarios de los clientes que indican la necesidad de contextos de salida más largos. Un portavoz de OpenAI explicó a VentureBeat: «Escuchamos comentarios de nuestros clientes que les gustaría un contexto de salida más largo. Siempre estamos probando nuevas formas en las que podemos satisfacer mejor las necesidades de nuestros clientes». Se espera que la fase de prueba alfa dure algunas semanas, lo que permitirá a OpenAI recopilar datos sobre la eficacia con la que la salida extendida satisface las necesidades de los usuarios. Esta capacidad mejorada es particularmente ventajosa para aplicaciones que requieren una salida detallada y extensa, como la edición de código y la mejora de la escritura. Al ofrecer salidas más extendidas, el modelo GPT-4o puede proporcionar respuestas más completas y matizadas, lo que puede beneficiar significativamente estos casos de uso. Distinción entre contexto y salida Ya, desde el lanzamiento, GPT-4o ofrecía una ventana de contexto máxima de 128.000: la cantidad de tokens que el modelo puede manejar en cualquier interacción, incluidos los tokens de entrada y salida. Para GPT-4o Long Output, esta ventana de contexto máxima se mantiene en 128.000. Entonces, ¿cómo puede OpenAI aumentar la cantidad de tokens de salida 16 veces, de 4.000 a 64.000 tokens, manteniendo la ventana de contexto general en 128.000? Todo se reduce a una matemática simple: aunque el GPT-4o original de mayo tenía una ventana de contexto total de 128.000 tokens, su mensaje de salida único estaba limitado a 4.000. De manera similar, para la nueva miniventana GPT-4o, el contexto total es de 128 000, pero la salida máxima se ha aumentado a 16 000 tokens. Eso significa que para GPT-4o, el usuario puede proporcionar hasta 124 000 tokens como entrada y recibir hasta 4000 como salida máxima del modelo en una sola interacción. También pueden proporcionar más tokens como entrada, pero recibir menos como salida, mientras que aún suman 128 000 tokens en total. Para GPT-4o mini, el usuario puede proporcionar hasta 112 000 tokens como entrada para obtener una salida máxima de 16 000 tokens. Para GPT-4o Long Output, la ventana de contexto total aún está limitada a 128 000. Sin embargo, ahora, el usuario puede proporcionar hasta 64.000 tokens de entrada a cambio de un máximo de 64.000 tokens de vuelta, es decir, si el usuario o desarrollador de una aplicación creada sobre él quiere priorizar respuestas LLM más largas y limitar las entradas. En todos los casos, el usuario o desarrollador debe tomar una decisión o hacer un compromiso: ¿quiere sacrificar algunos tokens de entrada a favor de salidas más largas y aún así permanecer en un total de 128.000 tokens? Para los usuarios que desean respuestas más largas, la salida larga GPT-4o ahora ofrece esto como una opción. Precio agresivo y asequible El nuevo modelo GPT-4o Long Output tiene el siguiente precio: 6 USD por 1 millón de tokens de entrada 18 USD por 1 millón de tokens de salida Compárelo con el precio normal de GPT-4o, que es de 5 USD por millón de tokens de entrada y 15 USD por millón de salida, o incluso el nuevo GPT-4o mini a 0,15 USD por millón de entrada y 0,60 USD por millón de salida, y podrá ver que tiene un precio bastante agresivo, continuando con el estribillo reciente de OpenAI de que quiere hacer que la IA potente sea asequible y accesible para amplias franjas de la base de usuarios desarrolladores. Actualmente, el acceso a este modelo experimental está limitado a un pequeño grupo de socios de confianza. El portavoz agregó: «Estamos realizando pruebas alfa durante algunas semanas con una pequeña cantidad de socios de confianza para ver si las salidas más largas ayudan a sus casos de uso». Dependiendo de los resultados de esta fase de prueba, OpenAI puede considerar expandir el acceso a una base de clientes más amplia. Perspectivas futuras La prueba alfa en curso proporcionará información valiosa sobre las aplicaciones prácticas y los beneficios potenciales del modelo de salida extendida. Si la respuesta del grupo inicial de socios es positiva, OpenAI puede considerar hacer que esta capacidad esté disponible de manera más amplia, lo que permitirá que una gama más amplia de usuarios se beneficie de las capacidades de salida mejoradas. Claramente, con el modelo de salida larga GPT-4o, OpenAI espera abordar una gama aún más amplia de solicitudes de clientes y aplicaciones de potencia que requieren respuestas detalladas. VB Daily ¡Manténgase informado! Reciba las últimas noticias en su bandeja de entrada todos los días Al suscribirse, acepta los Términos de servicio de VentureBeat. Gracias por suscribirse. Consulte más boletines de VB aquí. Se produjo un error.