Amazon Web Services (AWS) facilitó a las empresas la adopción de un chatbot genérico de IA generativa con la presentación de su asistente Amazon Q “plug and play” en su conferencia re:Invent 2023. Pero para las empresas que desean crear su propio asistente de IA generativa con su propio modelo de lenguaje grande (LLM) o el de otra persona, las cosas son más complicadas. Para ayudar a las empresas en esa situación, AWS ha estado invirtiendo en la creación y adición de nuevas herramientas para LLMops. —operando y administrando LLM—a Amazon SageMaker, su servicio de inteligencia artificial y aprendizaje automático, dijo a InfoWorld.com Ankur Mehrotra, gerente general de SageMaker en AWS. “Estamos invirtiendo mucho en operaciones de aprendizaje automático (MLops) y modelos básicos de lenguaje grande. Capacidades de operaciones para ayudar a las empresas a gestionar varios modelos LLM y ML en producción. Estas capacidades ayudan a las empresas a moverse rápidamente e intercambiar partes de modelos o modelos completos a medida que estén disponibles”, dijo. Mehrotra espera que las nuevas capacidades se agreguen pronto y, aunque no dijo cuándo, el momento más lógico sería en este momento. año re: Inventar. Por ahora, su enfoque está en ayudar a las empresas con el proceso de mantenimiento, ajuste y actualización de los LLM que utilizan. Escenarios de modelado Hay varios escenarios en los que las empresas encontrarán útiles estas capacidades de LLMops, dijo, y AWS ya ha entregado herramientas en algunos de estos. Uno de ellos es cuando está disponible una nueva versión del modelo que se está utilizando, o un modelo que funciona mejor para ese caso de uso. “Las empresas necesitan herramientas para evaluar el rendimiento del modelo y sus requisitos de infraestructura antes de que pueda pasar a producción de forma segura. Aquí es donde las herramientas de SageMaker, como las pruebas de sombra y Clarify, pueden ayudar a estas empresas”, dijo Mehrotra. Las pruebas de sombra permiten a las empresas evaluar un modelo para un uso particular antes de pasar a la producción; Clarify detecta sesgos en el comportamiento del modelo. Otro escenario es cuando un modelo arroja respuestas diferentes o no deseadas ya que la entrada del usuario al modelo ha cambiado con el tiempo según los requisitos del caso de uso, dijo el gerente general. Esto requeriría que las empresas ajustaran aún más el modelo o utilizaran la generación aumentada de recuperación (RAG). “SageMaker puede ayudar a las empresas a hacer ambas cosas. En un extremo, las empresas pueden utilizar funciones dentro del servicio para controlar cómo responde un modelo y, en el otro extremo, SageMaker tiene integraciones con LangChain para RAG”, explicó Mehrotra. SageMaker comenzó como una plataforma de IA general, pero últimamente AWS ha agregado más capacidades enfocadas en implementar IA generativa. En noviembre pasado, presentó dos nuevas ofertas, SageMaker HyperPod y SageMaker Inference, para ayudar a las empresas a capacitar e implementar LLM de manera eficiente. A diferencia del proceso de capacitación manual de LLM, sujeto a demoras, gastos innecesarios y otras complicaciones, HyperPod elimina el trabajo pesado involucrado en construir y optimizar infraestructura de aprendizaje automático para modelos de capacitación, reduciendo el tiempo de capacitación hasta en un 40%, dijo la compañía. Mehrotra dijo que AWS ha experimentado un gran aumento en la demanda de cargas de trabajo de capacitación e inferencia de modelos en los últimos meses a medida que las empresas buscan hacer uso de la IA generativa con fines de productividad y generación de código. Si bien no proporcionó el número exacto de empresas que utilizan SageMaker, el gerente general, dijo que en solo unos meses el servicio ha experimentado un crecimiento aproximadamente 10 veces mayor. “Hace unos meses, decíamos que SageMaker tiene decenas de miles de clientes y ahora decimos que tiene cientos de miles de clientes. ”, dijo Mehrotra, y agregó que parte del crecimiento se puede atribuir a que las empresas trasladan sus experimentos de IA generativa a la producción. Copyright © 2024 IDG Communications, Inc.