NVIDIA ha presentado recientemente un innovador chatbot con IA, Chat with RTX. Está diseñado para ejecutarse localmente en PC con Windows equipadas con GPU NVIDIA RTX series 30 o 40. Esta innovadora herramienta permite a los usuarios personalizar un chatbot con su contenido. Mantiene datos confidenciales en sus dispositivos y evita la necesidad de servicios basados ​​en la nube. El chatbot “Chat with RTX” está diseñado como un sistema localizado que los usuarios pueden utilizar sin acceso a Internet. Todas las GPU GeForce RTX 30 y 40 con al menos 8 GB de memoria de video son compatibles con la aplicación. Chat with RTX admite múltiples formatos de archivos, incluidos texto, pdf, doc/docx y XML. Simplemente apunte la aplicación a la carpeta que contiene los archivos y los cargará en la biblioteca en segundos. Además, los usuarios pueden proporcionar la URL de una lista de reproducción de YouTube y la aplicación cargará las transcripciones de los vídeos de la lista de reproducción. Esto permite al usuario consultar el contenido que cubre. A juzgar por la descripción oficial, los usuarios pueden utilizar Chat With RTX de la misma forma que utilizan ChatGPT a través de diferentes consultas. Sin embargo, los resultados generados se basarán completamente en conjuntos de datos específicos. Esto parece ser más adecuado para operaciones como generar resúmenes y buscar documentos rápidamente. Tener una GPU RTX con soporte TensorRT-LLM significa que los usuarios trabajarán con todos los datos y proyectos localmente. Por lo tanto, no será necesario que los usuarios guarden sus datos en la nube. Esto ahorrará tiempo y proporcionará resultados más precisos. Nvidia dijo que TensorRT-LLM v0.6.0 mejorará el rendimiento 5 veces y se lanzará a finales de este mes. Además, admitirá otros LLM como Mistral 7B y Nemotron 3 8B. Noticias de la semana de Gizchina Características clave de Chat con procesamiento local RTX: Chat con RTX se ejecuta localmente en PC y estaciones de trabajo con Windows RTX, brinda respuestas rápidas y mantiene la privacidad de los datos del usuario. Personalización: los usuarios pueden personalizar el chatbot con su contenido, incluidos archivos de texto, PDF, DOC/DOCX, XML y videos de YouTube. Generación aumentada de recuperación (RAG): el chatbot utiliza RAG, el software NVIDIA TensorRT-LLM y la aceleración NVIDIA RTX para generar contenido y proporcionar respuestas contextualmente relevantes. Modelos de lenguajes grandes (LLM) de código abierto: los usuarios pueden elegir entre dos LLM de código abierto, Mistral o Llama 2, para entrenar su chatbot. Fácil de usar para desarrolladores: Chat with RTX se creó a partir del proyecto de referencia para desarrolladores TensorRT-LLM RAG, disponible en GitHub, lo que permite a los desarrolladores crear sus aplicaciones basadas en RAG. Requisitos y limitaciones Requisitos de hardware: Chat con RTX requiere una GPU NVIDIA GeForce RTX serie 30 o superior con al menos 8 GB de VRAM, Windows 10 u 11 y los controladores de GPU NVIDIA más recientes. Tamaño: el chatbot es una descarga de 35 GB y la instancia de Python ocupa alrededor de 3 GB de RAM. El chatbot se encuentra en la etapa inicial de demostración para desarrolladores, por lo que todavía tiene una memoria de contexto limitada y una atribución de fuente inexacta. Aplicaciones y beneficios Investigación de datos: el chat con RTX puede ser una herramienta valiosa para la investigación de datos, especialmente para periodistas o cualquier persona que necesite analizar una colección de documentos. Privacidad y seguridad: al mantener los datos y las respuestas restringidos al entorno local del usuario, existe una reducción significativa en el riesgo de exponer información confidencial externamente. Educación y aprendizaje**: Chat with RTX puede proporcionar tutoriales rápidos e instrucciones basadas en los mejores recursos educativos. Conclusión Chat with RTX es un desarrollo interesante en el mundo de la IA, que ofrece un chatbot personalizado y ejecutado localmente que puede aumentar la productividad de los trabajadores y al mismo tiempo reducir los problemas de privacidad. Como demostración inicial para desarrolladores, todavía tiene algunas limitaciones, pero muestra el potencial de acelerar los LLM con GPU RTX y la promesa de lo que un chatbot de IA puede hacer localmente en su PC en el futuro. ¿Qué opinas de esta nueva característica? Háganos saber su opinión en la sección de comentarios a continuación. Descargo de responsabilidad: es posible que algunas de las empresas de cuyos productos hablamos nos compensen, pero nuestros artículos y reseñas son siempre nuestras opiniones honestas. Para obtener más detalles, puede consultar nuestras pautas editoriales y conocer cómo utilizamos los enlaces de afiliados.

Source link