Únase a los líderes en Boston el 27 de marzo para una noche exclusiva de networking, conocimientos y conversaciones. Solicite una invitación aquí. Stability AI está ampliando su cartera de modelos de IA generativa hoy con el lanzamiento de Stable Video 3D (SV3D). Como su nombre lo indica, el nuevo modelo es una herramienta de video de IA de generación para renderizar videos en 3D. Stability AI ha estado desarrollando capacidades de video con su tecnología Stable Video que permite a los usuarios generar videos cortos a partir de una imagen o un mensaje de texto. SV3D se basa en el modelo anterior de difusión de video estable de Stability AI, adaptándolo para la tarea de síntesis de vistas novedosas y generación 3D. Con SV3D, Stability AI está agregando nueva profundidad a su modelo de generación de video con la capacidad de crear y transformar mallas 3D de múltiples vistas a partir de una única imagen de entrada. SV3D ahora está disponible para uso comercial con una membresía Stability AI Professional ($20 por mes para creadores y desarrolladores con menos de $1 millón en ingresos anuales). Para fines no comerciales, los usuarios pueden descargar los pesos de los modelos desde Hugging Face. Evento VB The AI ​​Impact Tour – Atlanta Continuando con nuestro recorrido, nos dirigimos a Atlanta para la parada del AI Impact Tour el 10 de abril. Este evento exclusivo al que solo se puede acceder por invitación, en asociación con Microsoft, incluirá debates sobre cómo la IA generativa está transformando la fuerza laboral de seguridad. El espacio es limitado, así que solicite una invitación hoy. Solicite una invitación Aquí hay un video de ejemplo que generé rápidamente. Como verá, a pesar de algunas ligeras distorsiones, las formas de todos los objetos en el vídeo permanecen marcadamente coherentes y sólidas incluso cuando la cámara gira alrededor de ellos. Creación de juegos y comercio electrónico citados como casos de uso objetivo. «Al adaptar nuestro modelo de difusión de imagen a video de Stable Video Diffusion con la adición del acondicionamiento de la trayectoria de la cámara, Stable Video 3D puede generar videos de múltiples vistas de un objeto», escribió la compañía en una publicación de blog que detalla el nuevo modelo. «Stable Video 3D es una herramienta valiosa para generar activos 3D, especialmente dentro del sector de los juegos», dijo a VentureBeat Varun Jampani, investigador principal de Stability AI. “Además, permite la producción de vídeos orbitales de 360 ​​grados, que son útiles en el comercio electrónico, proporcionando una experiencia de compra más inmersiva e interactiva”. De Stable Zero123 a SV3D Stability AI es quizás mejor conocido por sus modelos de IA de generación de texto a imagen de Stable Diffusion que incluyen SDXL y Stable Diffusion 3.0, este último aún en la fase preliminar de investigación. Stable Diffusion 1.5 es un modelo de generación de imágenes de código abierto que forma la base de muchos otros productos de video y generación de imágenes de IA, incluidos Runway y Leonardo AI. En diciembre de 2023, se lanzó el modelo Stable Zero123, que ofrece nuevas capacidades para crear imágenes en 3D. En ese momento, Emad Mostaque, fundador y director ejecutivo de Stability AI, le dijo a VentureBeat que Stable Zero123 sería el primero de una serie de modelos 3D. La tecnología SV3D adopta un enfoque diferente a la generación 3D que Stable Zero123. «Stable Video 3D puede verse como un sucesor y una mejora de nuestra oferta anterior Stable Zero123», dijo Jampani. “Stable Video 3D es una red de síntesis de vistas novedosas que toma una sola imagen como entrada y genera imágenes de vistas novedosas. Jampani explicó que Stable Zero123 se basa en Stable Diffusion y genera una imagen a la vez. Stable Video 3D se basa en modelos de Stable Video Diffusion y genera múltiples vistas novedosas simultáneamente. Stable Video 3D proporciona vistas novedosas de mucha mejor calidad y, por lo tanto, puede ayudar a generar mejores mallas 3D a partir de una sola imagen. Vistas coherentes desde cualquier ángulo determinado En un artículo de investigación, los investigadores de Stability AI detallan algunas de las técnicas utilizadas para habilitar el 3D a partir de una sola imagen mediante difusión de video latente. «Un trabajo reciente sobre generación 3D propone técnicas para adaptar modelos generativos 2D para una síntesis de vistas novedosas (NVS) y optimización 3D», afirma el informe. «Sin embargo, estos métodos tienen varias desventajas debido a vistas limitadas o NVS inconsistentes, lo que afecta el rendimiento de la generación de objetos 3D». Una de las fortalezas clave de SV3D radica en su capacidad para generar nuevas imágenes multivista consistentes de un objeto. Según Stability AI, SV3D ofrece vistas coherentes desde cualquier ángulo determinado. El artículo de investigación sobre SV3D destaca este avance y señala que “. …a diferencia de enfoques anteriores que a menudo se enfrentan a perspectivas limitadas e inconsistencias en los resultados, Stable Video 3D es capaz de ofrecer vistas coherentes desde cualquier ángulo determinado con una generalización competente”. Además de sus novedosas capacidades de síntesis de vistas, SV3D también apunta a optimizar mallas 3D. Al aprovechar su consistencia de múltiples vistas, SV3D puede generar mallas 3D de alta calidad directamente a partir de las nuevas vistas que produce. «Stable Video 3D aprovecha su coherencia de múltiples vistas para optimizar los campos de radiación neuronal 3D (NeRF) y las representaciones de malla para mejorar la calidad de las mallas 3D generadas directamente a partir de vistas novedosas», escribió Stability AI en su publicación de anuncio. Dos potentes variantes: SV3D_u y SV3D_pSV3D viene en dos variantes, cada una diseñada para casos de uso específicos. SV3D_u genera vídeos orbitales basados ​​en entradas de imágenes únicas sin necesidad de acondicionamiento de la cámara. El acondicionamiento de la cámara en la IA generativa se refiere a una técnica en la que se utiliza una entrada adicional, a menudo en forma de una imagen o un conjunto de parámetros relacionados con las perspectivas o posiciones de la cámara, para guiar el proceso de generación de nuevas imágenes o contenido. Por otro lado, SV3D_p amplía esta capacidad al admitir imágenes individuales y vistas orbitales, lo que permite a los usuarios crear videos en 3D a lo largo de trayectorias de cámara específicas. La misión de VentureBeat es ser una plaza digital para que los tomadores de decisiones técnicas adquieran conocimientos sobre tecnología empresarial transformadora y realicen transacciones. Descubra nuestros Briefings.

Source link