Con la nueva integración VLLM/TPU, puede implementar sus modelos en TPU sin la necesidad de modificaciones extensas de código. Lo más destacado es el soporte para la popular biblioteca VLLM en TPUS, que permite la interoperabilidad entre GPU y TPU. Al abrir el poder de las TPU para inferencia en GKE, Google Cloud está proporcionando opciones extensas para los clientes que buscan optimizar su relación precio-rendimiento para exigir cargas de trabajo de IA. AI-AI-ADACE BALANCO DE CARGA CON GKE INFERENCIA GATEWAY A diferencia de los equilibradores de carga tradicionales que distribuyen el tráfico de forma redonda, GKE Inference Gateway es inteligente y AI-consciente. Entiende las características únicas de las cargas de trabajo generativas de IA, donde una solicitud simple puede dar como resultado una respuesta larga y computacionalmente intensiva. La puerta de enlace de Inferencia GKE de forma inteligente enruta las solicitudes de manera inteligente a la réplica del modelo más apropiada, teniendo en cuenta factores como la carga actual y el tiempo de procesamiento esperado, que está indicado por la utilización de la caché de KV. Esto evita que una sola solicitud de larga duración bloquee otras solicitudes más cortas, una causa común de alta latencia en aplicaciones de IA. El resultado es una mejora dramática en el rendimiento y la utilización de recursos.