Microsoft está agregando herramientas de seguridad a Azure AI Studio, el conjunto de herramientas basado en la nube de la compañía para crear aplicaciones de IA generativa. Las nuevas herramientas incluyen protección contra ataques de inyección rápida, detección de alucinaciones en la salida del modelo, mensajes del sistema para dirigir los modelos hacia una salida segura, evaluaciones de seguridad del modelo y monitoreo de riesgos y seguridad. Microsoft anunció las nuevas funciones el 28 de marzo. Las evaluaciones de seguridad ya están disponibles en versión preliminar en Azure AI Studio. Las otras funciones llegarán pronto, dijo Microsoft. Se puede acceder a Azure AI Studio, también en versión preliminar, desde ai.azure.com. Los escudos de aviso detectarán y bloquearán los ataques de inyección e incluirán un nuevo modelo para identificar ataques de aviso indirectos antes de que afecten al modelo. Esta característica está actualmente disponible en versión preliminar en Azure AI Content Safety. La detección de terreno está diseñada para identificar alucinaciones basadas en texto, incluidas imprecisiones menores, en los resultados del modelo. Esta característica detecta «material no fundamentado» en el texto para respaldar la calidad de los resultados de LLM, dijo Microsoft. Los mensajes del sistema de seguridad, también conocidos como metaprompts, dirigen el comportamiento de un modelo hacia resultados seguros y responsables. Las evaluaciones de seguridad evalúan la capacidad de una aplicación para hacer jailbreak y generar riesgos de contenido. Además de las métricas de calidad del modelo, proporcionan métricas relacionadas con el contenido y los riesgos de seguridad. Finalmente, el monitoreo de riesgos y seguridad ayuda a los usuarios a comprender qué entradas, salidas y usuarios del modelo están activando filtros de contenido para informar la mitigación. Esta característica está actualmente disponible en versión preliminar en el servicio Azure OpenAI. Copyright © 2024 IDG Communications, Inc.

Source link