Además de esto, los desarrolladores y el personal de operaciones de TI tendrán que analizar dónde ejecutan las cargas de trabajo de IA generativa. Muchas empresas comenzarán con esto en la nube, ya que quieren evitar la carga de ejecutar sus propios LLM, pero otras querrán adoptar su propio enfoque para aprovechar al máximo sus opciones y evitar el bloqueo. Sin embargo, ya sea que ejecute en las instalaciones o en la nube, tendrá que pensar en ejecutar en múltiples ubicaciones. El uso de múltiples sitios proporciona resiliencia para un servicio; si un sitio deja de estar disponible, el servicio aún puede funcionar. Para los sitios locales, esto puede significar implementar tecnologías de disponibilidad y conmutación por error en torno a los conjuntos de datos vectoriales, de modo que estos datos se puedan consultar cuando sea necesario. Para las implementaciones en la nube, la ejecución en múltiples ubicaciones es más simple, ya que puede usar diferentes regiones de la nube para alojar y replicar datos vectoriales. El uso de múltiples sitios también le permite entregar respuestas desde el sitio que está más cerca del usuario, lo que reduce la latencia y facilita la compatibilidad con ubicaciones de datos geográficos si tiene que mantener los datos ubicados en una ubicación o región específica para fines de cumplimiento. Gastos operativos en curso El segundo día, las operaciones de TI implican analizar los gastos operativos y los problemas relacionados con el funcionamiento de la infraestructura y, luego, eliminar los cuellos de botella u optimizar el enfoque para resolverlos. Debido a que las aplicaciones de IA generativa involucran enormes volúmenes de datos y componentes y servicios que se integran entre sí, es importante considerar los gastos operativos que existirán con el tiempo. A medida que los servicios de IA generativa se vuelven más populares, pueden surgir problemas en torno a cómo funcionan esas integraciones a escala. Si descubre que desea agregar más funciones o integrar más agentes de IA potenciales, entonces estas integraciones necesitarán soporte de nivel empresarial.