Qué es VideoGigaGAN y cómo funciona la nueva IA de Adobe para convertir vídeos borrosos de baja resolución en HD

Publicado el 25/04/2024 por Diario Tecnología Artículo original

Vamos a explicarte qué es VideoGigaGAN de Adobe, un nuevo modelo de inteligencia artificial con el que pretenden acabar con los vídeos borrosos, subiéndoles la resolución y quitándoles lo borroso. De momento es un proyecto que acaban de presentar y está en desarrollo, pero vamos a explicártelo.

Vamos a empezar este artículo explicándote brevemente qué es exactamente este modelo de IA y qué es lo que puede hacer según ha contado Adobe. Luego, pasaremos a explicarte un poco el funcionamiento interno, y terminaremos hablándote de si sabemos algo de su lanzamiento.

Qué es VideoGigaGAN

VideoGigaGAN es una nueva característica basad aen inteligencia artificial presentada por Adobe, la empresa detrás de herramientas como Photoshop. Es una IA basada en los modelos generativos, pero en este caso no genera contenido de la nada, sino que lo hace para mejorar lo que existe actualmente.

La idea detrás de esta inteligencia artificial es sencilla. Los vídeos en baja resolución se ven borrosos, sobre todo cuando subes su tamaño escalándolos, momento en el que también puede aparecer ruido. Lo que quieren conseguir es una IA que aumente la resolución haciéndolos nítidos de una manera espectacular.

Vamos, que los vídeos que son borrosos dejan de serlo, y cuando se suben de resolución se ven claros y nítidos, porque la IA ha reconstruido la imagen. Con esto, Adobe dice poder aumentar la resolución de un vídeo hasta en x8, y todo eso haciendo que se vean nítidos.

Las muestras que han acompañado al paper de presentación de esta inteligencia artificial son increíbles. En ellas, han visto cómo sería pasar un vídeo borroso de resolución 128x128 a uno de 1024x1024. No solo aumenta la resolución, la imagen se vuelve completamente nítida, y en algunos casos incluso se acaba con el parpadeo de los vídeos de poca resolución para hacerlos fluidos.

Con esto, lo que ha hecho Adobe ha sido usar las técnicas de generar contenido de las IA no para generarlo desde cero, sino para generarlo a partir de un vídeo que se introduce. El contenido se genera e "inventa", pero de manera que el resultado sea el del mismo del vídeo de origen.

Cómo funciona esta IA

VideoGigaGAN es lo que se denomina un modelo VSR o Video Super-Resolution, que traducido es un modelo de super resolución de vídeo, y está basado en la arquitectura asimétrica del sampler de imágenes GigaGAN. Este GigaGAN es un modelo de síntesis de texto a imagen que permite escalar y manejar grandes conjuntos de datos, generando imágenes realistas a partir de texto.

Lo que han hecho internamente con esto, primero es convertir el sampler de imágenes en uno de vídeo añadiendo capas de atención a la línea temporal a sus bloques de decodificación. De esta manera, el modelo no solo va reescalando imágenes, sino que lo hace en orden para componer el vídeo.

También se incorporan características de un módulo de propagación guiado por flujo, con lo que mejoran la coherencia, y utilizan bloques anti-aliasing en las capas de submuestreo del codificador para suprimir artefactos de alisado o defectos que pudieran surgir.

En definitiva, el resultado final por una parte es mejorar la resolución de un vídeo, hasta en ocho veces. Además de eso, se añaden detalles de alta frecuencia y mantienen consistencia temporal, evitando problemas comunes con los reescalados de vídeo como parpadeos o movimientos bruscos.

También se usan técnicas avanzadas de suavizado y otras funciones de alta frecuencia, con las que obtener unos vídeos más nítidos y coherentes con el que se utiliza cono base.

Al final, lo que hace internamente esta IA es analizar el contenido del vídeo que le envíes, reescalándolo imagen por imagen. También le aplica varias capas para que el resultado sea nítido y perfecto, para que parezca que el vídeo fue grabado realmente con alta definición.

Cuándo llegará VideoGigaGAN

Actualmente, esta herramienta de inteligencia artificial se encuentra en desarrollo. Esto quiere decir que es un trabajo en curso, y que todavía no hay un producto final. Vamos, que todavía no está disponible, y no hay una manera en la que podamos probarlo.

Todavía no hay ninguna fecha de lanzamiento prevista. Sin embargo, es probable que cuando lo terminen y lancen una primera versión de esta tecnología, se integre en otras herramientas de Adobe como suelen hacer con sus desarrollos de IA, como Adobe Premiere Pro. Sin embargo, esto es algo que todavía no se sabe.

En Xataka Basics | Cómo iniciarse en la inteligencia artificial desde cero: conceptos básicos, herramientas, trucos y consejos

-