Fujitsu ha anunciado el lanzamiento de dos nuevas tecnologías de confianza de IA para mejorar la confiabilidad de las respuestas de los modelos de IA conversacionales. Las tecnologías recientemente desarrolladas incluyen una técnica para detectar alucinaciones en modelos de IA conversacionales (un fenómeno en el que la IA generativa crea resultados incorrectos o no relacionados) y una técnica desarrollada conjuntamente en su pequeño laboratorio de investigación en la Universidad Ben Gurion para detectar URL de sitios de phishing implantadas en las respuestas. de la IA mediante ataques de envenenamiento que inyectan información falsa. Con las nuevas tecnologías, Fujitsu pretende proporcionar a los usuarios corporativos e individuales una herramienta para evaluar la confiabilidad de las respuestas de la IA conversacional, contribuyendo en última instancia a un uso más seguro de la IA en una variedad de casos de uso, incluso para empresas que desean implementar la tecnología en operaciones reales. El profesor Yuval Elovici, de la Universidad Ben Gurion, comenta: “La IA generativa es un dominio crítico y, dentro de él, la tecnología de detección de alucinaciones que Fujitsu ha desarrollado emerge como fundamental para establecer sistemas de IA conversacionales confiables. Investigadores de la Universidad Ben-Gurion (BGU) y Fujitsu han sido pioneros en una técnica innovadora para mejorar la seguridad del filtrado de URL basado en IA contra amenazas adversas. Nuestro avance se centra en los datos tabulares, lo que da como resultado un mecanismo de defensa más resistente contra ataques adversarios en el ámbito del filtrado de URL impulsado por IA. En el futuro, Fujitsu y la Universidad Ben-Gurion colaborarán para forjar nuevos avances centrados en la seguridad dentro del ámbito de la IA generativa”. Fujitsu incluirá estas nuevas tecnologías en su motor central de IA conversacional proporcionado a través de “Fujitsu Kozuchi (nombre en clave) – Fujitsu AI Platform”, que ofrece a los usuarios acceso a una amplia gama de potentes tecnologías de IA y ML. La tecnología para detectar alucinaciones en la IA conversacional estará disponible para los usuarios en Japón a partir del jueves, y la tecnología para detectar URL de sitios de phishing en respuestas de la IA conversacional a partir de octubre. Las nuevas tecnologías estarán disponibles tanto para los usuarios corporativos como un entorno de demostración a través de Kozuchi como para los usuarios individuales a través de un portal dedicado. Fujitsu planea implementar ambas tecnologías en el mercado global en el futuro. Al aplicar la IA conversacional en las operaciones comerciales, las empresas suelen utilizar la tecnología para extraer información relacionada con preguntas de datos comerciales prerregistrados y agregar los datos como información de referencia al hacer preguntas a una IA conversacional externa. Si bien este método proporciona respuestas precisas y reduce las alucinaciones, la prevención completa de las alucinaciones representa un problema constante, ya que la IA conversacional en algunos casos no puede extraer correctamente información relacionada con las preguntas y, en consecuencia, crea respuestas incorrectas y no relacionadas. Aunque existen métodos para estimar el grado en que la respuesta de una IA podría ser una alucinación (puntuación de alucinación), la estimación precisa de esta puntuación sigue siendo una tarea difícil ya que la IA conversacional utiliza varias frases diferentes para expresar el mismo hecho. Basándose en la observación de que la IA conversacional genera con frecuencia información incorrecta para nombres y números propios, y que el contenido de las respuestas tiende a diferir cuando se repiten preguntas, Fujitsu ha desarrollado una tecnología para identificar y centrarse en partes de las oraciones donde es probable que se produzcan alucinaciones. Para calcular una puntuación de alucinación altamente precisa, la nueva tecnología primero divide la respuesta de la IA en tres partes (sujeto, predicado, objeto, etc.) y luego identifica automáticamente las entidades nombradas dentro de la respuesta. Como siguiente paso, la tecnología deja en blanco estas entidades nombradas y pide repetidamente a la IA externa que defina con mayor precisión estas expresiones específicas. Fuente: Fujitsu Ltd © JCN Newswire

Source link