PixVid: un método propuesto para elevar la difusión de video latente al espacio de píxeles
En Hugging Face Papers se anunció PixVid, un método para permitir que los modelos de video latentes preentrenados generen directamente en el espacio de píxeles.
Los modelos de generación de video de frontera operan en un espacio latente VAE que comprime el video tanto en espacio como en tiempo. Si bien esta compresión hace que el entrenamiento sea viable, limita la generación de alta resolución, controlable e interactiva; duplicar la resolución cuadruplica el recuento de tokens, las condiciones se aplican a grupos de fotogramas en lugar de fotogramas individuales, y cada respuesta debe esperar al resto de su bloque de fotogramas múltiples.
PixVid es un método simple pero efectivo que eleva un modelo de video latente preentrenado para generar directamente cada fotograma en el espacio de píxeles. Mantiene el transformer de difusión y reemplaza el decodificador VAE con un cabezal convolucional que renderiza sus salidas en píxeles. Recibió 1 upvote en Hugging Face Daily Papers.
Esta noticia es un resumen. La versión completa y verificable está en la fuente original:
Leer el original en Hugging Face Papers ↗