Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder en la industria. Más información Anthropic, una empresa líder en inteligencia artificial, lanzó el martes su nueva API Message Batches, que permite a las empresas procesar grandes volúmenes de datos a la mitad del costo de las llamadas API estándar. Esta nueva oferta maneja hasta 10,000 consultas de forma asincrónica en un período de 24 horas, lo que marca un paso significativo hacia hacer que los modelos avanzados de IA sean más accesibles y rentables para las empresas que manejan big data. Presentamos la API Message Batches, una forma rentable de procesar grandes cantidades de consultas de forma asincrónica. Puede enviar lotes de hasta 10 000 consultas a la vez. Cada lote se procesa en 24 horas y cuesta un 50% menos que las llamadas API estándar. https://t.co/nkXG9NCPIs— Anthropic (@AnthropicAI) 8 de octubre de 2024 La economía de escala de la IA: el procesamiento por lotes reduce los costos La API por lotes ofrece un descuento del 50 % en tokens de entrada y salida en comparación con el procesamiento en tiempo real , posicionando a Anthropic para competir de manera más agresiva con otros proveedores de inteligencia artificial como OpenAI, que introdujo una función de procesamiento por lotes similar a principios de este año. Este movimiento representa un cambio significativo en la estrategia de precios de la industria de la IA. Al ofrecer procesamiento masivo con descuento, Anthropic está creando efectivamente una economía de escala para los cálculos de IA. Esto podría conducir a un aumento en la adopción de la IA entre las medianas empresas que anteriormente no tenían acceso a las aplicaciones de IA a gran escala. Las implicaciones de este modelo de precios van más allá del mero ahorro de costos. Podría alterar fundamentalmente la forma en que las empresas abordan el análisis de datos, lo que podría conducir a análisis a gran escala más completos y frecuentes que antes se consideraban demasiado costosos o que requerían muchos recursos. ModeloCosto de entrada (por 1 millón de tokens)Costo de salida (por 1 millón de tokens)Ventana de contextoGPT-4o$1,25$5,00128KClaude 3.5 Sonnet$1,50$7,50200KComparación de precios: GPT-4o frente a los modelos premium de Claude; Costos mostrados por millón de tokens (Crédito de la tabla: VentureBeat) Del tiempo real al momento adecuado: repensar las necesidades de procesamiento de IA Anthropic ha puesto a disposición la API Batch para sus modelos Claude 3.5 Sonnet, Claude 3 Opus y Claude 3 Haiku a través de la API de la empresa. . Se espera pronto soporte para Claude en Vertex AI de Google Cloud, mientras que los clientes que usan Claude a través de Amazon Bedrock ya pueden acceder a capacidades de inferencia por lotes. La introducción de capacidades de procesamiento por lotes indica una comprensión madura de las necesidades de IA empresarial. Si bien el procesamiento en tiempo real ha sido el foco de gran parte del desarrollo de la IA, muchas aplicaciones empresariales no requieren resultados instantáneos. Al ofrecer una opción más lenta pero más rentable, Anthropic reconoce que, para muchos casos de uso, el procesamiento en el «momento adecuado» es más importante que el procesamiento en tiempo real. Este cambio podría conducir a un enfoque más matizado para la implementación de la IA en las empresas. En lugar de optar por la opción más rápida (y a menudo más costosa), las empresas pueden comenzar a equilibrar estratégicamente sus cargas de trabajo de IA entre el procesamiento en tiempo real y por lotes, optimizando tanto el costo como la velocidad. El arma de doble filo del procesamiento por lotes A pesar de los claros beneficios, el avance hacia el procesamiento por lotes plantea preguntas importantes sobre la dirección futura del desarrollo de la IA. Si bien hace que los modelos existentes sean más accesibles, existe el riesgo de que pueda desviar recursos y atención del avance de las capacidades de IA en tiempo real. La compensación entre costo y velocidad no es nueva en la tecnología, pero en el campo de la IA adquiere una importancia adicional. A medida que las empresas se acostumbran a los menores costos del procesamiento por lotes, puede haber menos presión del mercado para mejorar la eficiencia y reducir el costo del procesamiento de IA en tiempo real. Además, la naturaleza asincrónica del procesamiento por lotes podría limitar potencialmente la innovación en aplicaciones que dependen de respuestas inmediatas de la IA, como la toma de decisiones en tiempo real o los asistentes interactivos de la IA. Lograr el equilibrio adecuado entre el avance de las capacidades de procesamiento por lotes y en tiempo real será crucial para el desarrollo saludable del ecosistema de IA. A medida que la industria de la IA continúa evolucionando, la nueva API Batch de Anthropic representa tanto una oportunidad como un desafío. Abre nuevas posibilidades para que las empresas aprovechen la IA a escala, aumentando potencialmente el acceso a capacidades avanzadas de IA. Al mismo tiempo, subraya la necesidad de un enfoque reflexivo para el desarrollo de la IA que considere no sólo el ahorro de costos inmediato, sino también la innovación a largo plazo y diversos casos de uso. El éxito de esta nueva oferta probablemente dependerá de qué tan bien las empresas puedan integrar el procesamiento por lotes en sus flujos de trabajo existentes y de qué tan efectivamente puedan equilibrar las compensaciones entre costo, velocidad y potencia computacional en sus estrategias de IA. VB Daily ¡Manténgase informado! Reciba las últimas noticias en su bandeja de entrada diariamente. Al suscribirse, acepta los Términos de servicio de VentureBeat. Gracias por suscribirte. Consulte más boletines de VB aquí. Se produjo un error.