Suscríbase a nuestros boletines diarios y semanales para recibir las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder en la industria. Más información La ejecución de IA en la nube pública puede presentar a las empresas numerosas preocupaciones sobre la privacidad y la seguridad de los datos. Es por eso que algunas empresas optarán por implementar IA en una nube privada o en un entorno local. Together AI se encuentra entre los proveedores que buscan resolver los desafíos de permitir de manera efectiva que las empresas implementen IA en nubes privadas con un enfoque rentable. La empresa anunció hoy su Together Enterprise Platform, que permite la implementación de IA en la nube privada virtual (VPC) y en entornos locales. Together AI hizo su debut en 2023, con el objetivo de simplificar el uso empresarial de LLM de código abierto. La empresa ya tiene una plataforma integral para permitir que las empresas utilicen fácilmente LLM de código abierto en su propio servicio de nube. La nueva plataforma extiende la implementación de IA a entornos locales y en la nube controlados por el cliente. La Together Enterprise Platform tiene como objetivo abordar las preocupaciones clave de las empresas que adoptan tecnologías de IA, incluido el rendimiento, la rentabilidad y la privacidad de los datos. “A medida que se amplían las cargas de trabajo de IA, la eficiencia y los costos son importantes para las empresas, que también se preocupan mucho por la privacidad de los datos”, dijo Vipul Prakash, director ejecutivo de Together AI, a VentureBeat. “Dentro de las empresas también hay políticas de privacidad y cumplimiento bien establecidas, que ya se implementan en sus propias configuraciones de nube y las empresas también se preocupan por la propiedad del modelo”. Cómo mantener bajos los costos de IA empresarial en la nube privada con Together AI La promesa clave de Together Enterprise Platform es que las organizaciones pueden administrar y ejecutar modelos de IA en su propia implementación de nube privada. Esta adaptabilidad es crucial para las empresas que ya han invertido mucho en su infraestructura de TI. La plataforma ofrece flexibilidad al trabajar en nubes privadas y permitir que los usuarios escalen a la nube de Together. Un beneficio clave de la plataforma Together Enterprise es su capacidad para mejorar drásticamente el rendimiento de las cargas de trabajo de inferencia de IA. “A menudo podemos mejorar el rendimiento de la inferencia de dos a tres veces y reducir la cantidad de hardware que utilizan para realizar la inferencia en un 50%”, dijo Prakash. “Esto crea ahorros significativos y más capacidad para que las empresas creen más productos, creen más modelos y lancen más funciones”. Las mejoras de rendimiento se logran mediante una combinación de utilización optimizada de software y hardware. “Hay mucha artesanía algorítmica en cómo programamos y organizamos el cálculo en las GPU para obtener la máxima utilización y la menor latencia”, explicó Prakash. “Trabajamos mucho en la decodificación especulativa, que utiliza un modelo pequeño para predecir lo que generaría el modelo más grande, lo que reduce la carga de trabajo en el modelo más intensivo en términos computacionales”. Orquestación de modelos flexibles y el enfoque de mezcla de agentes Otra característica clave de la plataforma Together Enterprise es su capacidad para orquestar el uso de múltiples modelos de IA dentro de una sola aplicación o flujo de trabajo. “Lo que estamos viendo en las empresas es que generalmente usan una combinación de diferentes modelos: modelos de código abierto, modelos personalizados y modelos de diferentes fuentes”, dijo Prakash. “La plataforma Together permite esta orquestación de todo este trabajo, escalando los modelos hacia arriba y hacia abajo según la demanda de una característica particular en un momento particular”. Hay muchas formas diferentes en que una organización puede orquestar modelos para que funcionen juntos. Algunas organizaciones y proveedores usarán tecnologías como LangChain para combinar modelos. Otro enfoque es utilizar un enrutador de modelos, como el construido por Martian, para enrutar las consultas al mejor modelo. SambaNova utiliza un modelo de Composición de Expertos, que combina múltiples modelos para obtener resultados óptimos. Together AI utiliza un enfoque diferente al que llama Mezcla de Agentes. Prakash dijo que este enfoque combina IA de agencia multimodelo con un sistema entrenable para la mejora continua. La forma en que funciona es mediante el uso de modelos «más débiles» como «proponentes»: cada uno proporciona una respuesta a la solicitud. Luego, se utiliza un modelo «agregador» para combinar estas respuestas de una manera que produzca una mejor respuesta general. «Somos una plataforma computacional y de inferencia y los flujos de trabajo de IA de agencia son muy interesantes para nosotros», dijo. «Verá más cosas de Together AI sobre lo que estamos haciendo al respecto en los próximos meses». VB Daily ¡Manténgase informado! Reciba las últimas noticias en su bandeja de entrada todos los días Al suscribirse, acepta los Términos de servicio de VentureBeat. Gracias por suscribirse. Consulte más boletines de VB aquí. Se produjo un error.
Deja una respuesta