Nvidia anunció el martes un chatbot de IA generativa (genAI) que puede ejecutarse en PC con Windows, brindando a las empresas la posibilidad de aprovechar la IA en los entornos locales de los empleados para reforzar la productividad en lugar de exigirles que accedan a herramientas genAI en plataformas alojadas por proveedores como OpenAI. El fabricante de chips gráficos lanzó Chat with RTX, una aplicación de demostración que ahora está disponible para su descarga gratuita; permite a los usuarios personalizar un chatbot con su propio contenido, básicamente personalizando las fuentes de datos de los grandes modelos de lenguaje (LLM) del bot. Esto mantiene los datos privados de los usuarios en su PC y al mismo tiempo les ayuda a buscar rápidamente respuestas a preguntas basadas en esos datos, según Nvidia. «Dado que Chat with RTX se ejecuta localmente en PC y estaciones de trabajo con Windows RTX, los resultados proporcionados son rápidos, y el usuario los datos permanecen en el dispositivo», escribió Jesse Clayton, gerente de producto de Nvidia, en una publicación de blog promocionando el chatbot. «En lugar de depender de servicios LLM basados ​​en la nube, Chat with RTX permite a los usuarios procesar datos confidenciales en una PC local sin la necesidad de compartirlos con un tercero o tener una conexión a Internet». Chat with RTX permite a los usuarios elegir entre dos opciones abiertas LLM de origen (Mistral o Llama 2) y requiere una GPU Nvidia GeForce RTX serie 30 o superior con al menos 8 GB de RAM de video, ejecutándose en Windows 10 u 11 con los últimos controladores de GPU NVIDIA. El chatbot se ejecuta en PC con Windows con tecnología GEForce que usan generación de recuperación aumentada (RAG), software NVIDIA TensorRT-LLM y aceleración Nvidia RTX. «En lugar de buscar notas o contenido guardado, los usuarios pueden simplemente escribir consultas», escribió Clayton. «Por ejemplo, uno podría preguntar: ‘¿Cuál fue el ¿El restaurante que mi pareja me recomendó mientras estuve en Las Vegas? y Chat with RTX escaneará los archivos locales a los que el usuario apunta y proporcionará la respuesta con contexto. «AIA locales y personalizadas genAI continúa evolucionando rápidamente, Nvidia se está posicionando como un proveedor líder de hardware y software para impulsar y «democratizar» la tecnología. El CEO de Nvidia, Jensen Huang, ha dicho que las GPU de la compañía harán que la IA sea accesible a través de múltiples plataformas, desde la nube hasta los servidores y la informática de punta. El chat con RTX parece alinearse con la estrategia. El chatbot admite varios formatos de archivos, incluidos texto, pdf, doc/docx y xml. Los usuarios pueden agregar datos a la biblioteca del chatbot apuntando la aplicación a una carpeta que contiene archivos; en segundos, se agregarán al bot. Los usuarios también pueden proporcionar la URL de una lista de reproducción de YouTube y Chat with RTX cargue las transcripciones de los videos en la lista de reproducción, lo que permite a las personas consultar el contenido que cubren. Además, debido a que Chat with RTX se creó a partir del proyecto de referencia para desarrolladores TensorRT-LLM RAG disponible en GitHub, los desarrolladores pueden crear sus propias aplicaciones basadas en RAG. para la plataforma, según NVIDIA. Resolver el problema de privacidad La adopción de chatbots basados ​​en genAI como ChatGPT de Open-AI, que ya utilizan millones de personas en todo el mundo en poco más de un año desde su lanzamiento, está en aumento. También lo son las preocupaciones de seguridad y privacidad sobre los chatbots, especialmente después de que una violación de datos de OpenAI en marzo de 2023 expusiera los datos de alrededor de 1,2 millones de suscriptores, según un próximo informe de Menlo Security: «El impacto continuo de la IA generativa en la postura de seguridad». La idea de un chatbot personalizado y administrado localmente que podría aumentar la productividad de los trabajadores y al mismo tiempo reducir los problemas de privacidad es ciertamente atractiva, dijo Jamie Lawson, gerente principal de productos de la firma de seguridad. «Es como tener tu propio asistente personal de IA en tu dispositivo, manteniendo sus conversaciones privadas y seguras», dijo. «Al mantener los datos y las respuestas restringidos al entorno local del usuario, hay una reducción significativa en el riesgo de exponer información confidencial externamente». Sin embargo, las empresas deberán vigilar los datos Los empleados ingresan en sus LLM; muchos ya lo hacen enviando políticas a los empleados sobre el uso responsable de la IA generativa, según el informe. Aún así, los empleados persisten en intentar ingresar datos corporativos confidenciales en los LLM, lo que hace necesaria una supervisión continua, dijo Menlo Security. Copyright © 2024 IDG Communications, Inc.

Source link