Google Cloud está presentando un nuevo conjunto de opciones de conexión a tierra que permitirán a las empresas reducir aún más las alucinaciones en sus aplicaciones y agentes basados ​​en IA generativa. Los grandes modelos de lenguaje (LLM) que sustentan estas aplicaciones y agentes basados ​​en IA generativa pueden comenzar a producir resultados o respuestas defectuosos a medida que aumentan en complejidad. Estos resultados defectuosos se denominan alucinaciones, ya que el resultado no está basado en los datos de entrada. La generación aumentada de recuperación (RAG) es una de las varias técnicas que se utilizan para abordar las alucinaciones: otras son el ajuste fino y la ingeniería rápida. La RAG conecta a tierra el LLM al alimentar los datos del modelo desde una fuente o repositorio de conocimiento externo para mejorar la respuesta a una consulta en particular. El nuevo conjunto de opciones de conexión a tierra introducido dentro del servicio de inteligencia artificial y aprendizaje automático de Google Cloud, Vertex AI, incluye recuperación dinámica, un modo de «alta fidelidad» y conexión a tierra con conjuntos de datos de terceros, todo lo cual puede verse como expansiones de las características de Vertex AI reveladas en su conferencia anual Cloud Next en abril. Recuperación dinámica para equilibrar entre costo y precisiónLa nueva capacidad de recuperación dinámica, que pronto se ofrecerá como parte de la función de Vertex AI para fundamentar los LLM en la Búsqueda de Google, busca lograr un equilibrio entre la eficiencia de costos y la calidad de la respuesta, según Google.Como fundamentar los LLM en la Búsqueda de Google genera costos de procesamiento adicionales para las empresas, la recuperación dinámica permite a Gemini elegir dinámicamente si fundamentar las consultas del usuario final en la Búsqueda de Google o usar el conocimiento intrínseco de los modelos, escribió Burak Gokturk, gerente general de IA en la nube en Google Cloud, en una publicación de blog. La elección queda en manos de Gemini, ya que es posible que no todas las consultas necesiten fundamentación, explicó Gokturk, y agregó que el conocimiento de entrenamiento de Gemini es muy capaz. Gemini, a su vez, toma la decisión de fundamentar una consulta en la Búsqueda de Google al segregar cualquier solicitud o consulta en tres categorías según cómo podrían cambiar las respuestas con el tiempo: nunca cambian, cambian lentamente y cambian rápidamente. Esto significa que si se le hiciera a Gemini una consulta sobre una película más reciente, entonces buscaría fundamentar la respuesta en la Búsqueda de Google, pero no fundamentaría una respuesta a una consulta, como «¿Cuál es la capital de Francia?», ya que es menos probable que cambie y Gemini ya sabría la respuesta. Modo de alta fidelidad dirigido a los sectores de atención médica y servicios financieros Google Cloud también quiere ayudar a las empresas a fundamentar los LLM en sus datos empresariales privados y, para ello, presentó una colección de API bajo el nombre de API para RAG como parte de Vertex AI en abril. Las API para RAG, que se han puesto a disposición del público en general, incluyen API para el análisis de documentos, la generación de incrustaciones, la clasificación semántica y la generación de respuestas fundamentadas, y un servicio de verificación de hechos llamado check-grounding. Experimento de alta fidelidad Como parte de una extensión de la API de generación de respuestas fundamentadas, que utiliza los almacenes de datos de Vertex AI Search, las fuentes de datos personalizadas y la Búsqueda de Google, para fundamentar una respuesta a una solicitud del usuario, Google está presentando una opción de fundamentación experimental, denominada fundamentación con modo de alta fidelidad. La nueva opción de conexión a tierra, según la empresa, tiene como objetivo fundamentar aún más una respuesta a una consulta al obligar al LLM a recuperar respuestas no solo entendiendo el contexto de la consulta sino también obteniendo la respuesta de una fuente de datos proporcionada personalizada. Esta opción de conexión a tierra utiliza un modelo Flash Gemini 1.5 que se ha ajustado para centrarse en el contexto de una solicitud, explicó Gokturk, y agregó que la opción proporciona fuentes adjuntas a las oraciones en la respuesta junto con puntajes de conexión a tierra. La conexión a tierra con modo de alta fidelidad actualmente admite casos de uso clave como el resumen en múltiples documentos o la extracción de datos contra un corpus de datos financieros. Esta opción de conexión a tierra, según Gokturk, está dirigida a empresas de los sectores de atención médica y servicios financieros, ya que estas empresas no pueden permitirse alucinaciones y las fuentes proporcionadas en las respuestas a las consultas ayudan a generar confianza en la aplicación generativa basada en IA orientada al usuario final. Otros proveedores importantes de servicios en la nube, como AWS y Microsoft Azure, actualmente no tienen una característica exacta que coincida con el modo de alta fidelidad, pero cada uno de ellos tiene un sistema implementado para evaluar la confiabilidad de las aplicaciones RAG, incluido el mapeo de métricas de generación de respuestas. Mientras que Microsoft usa la API Groundedness Detection para verificar si las respuestas de texto de los modelos de lenguaje grandes (LLM) están basadas en los materiales fuente proporcionados por los usuarios, el servicio Amazon Bedrock de AWS usa varias métricas para hacer la misma tarea. Como parte de las características de evaluación y observabilidad de RAG de Bedrock, AWS usa métricas como fidelidad, relevancia de la respuesta y similitud semántica de la respuesta para comparar la respuesta de una consulta. La métrica de fidelidad mide si la respuesta generada por el sistema RAG es fiel a la información contenida en los pasajes recuperados, dijo AWS, y agregó que el objetivo es evitar alucinaciones y garantizar que la salida esté justificada por el contexto proporcionado como entrada al sistema RAG. Habilitación de datos de terceros para RAG a través de Vertex AIEn línea con sus planes anunciados en Cloud Next en abril, la compañía dijo que planea introducir un nuevo servicio dentro de Vertex AI a partir del próximo trimestre para permitir que las empresas fundamenten sus modelos y agentes de IA con datos especializados de terceros. Google dijo que ya estaba trabajando con proveedores de datos como Moody’s, MSCI, Thomson Reuters y Zoominfo para llevar sus datos a este servicio. Copyright © 2024 IDG Communications, Inc.