Investigación para permitir la generación en cualquier orden en modelos de imagen autorregresivos preentrenados

Los generadores de imágenes autorregresivos (AR) son potentes en principio, pero inflexibles en la práctica. El entrenamiento con un orden de escaneo rasterizado fijo codifica una única factorización de la distribución de la imagen en el modelo, lo que impide realizar inpainting, outpainting o edición durante la inferencia.

Las soluciones existentes, incluida la familia moderna de difusión discreta (discrete-diffusion), entrenan desde cero con una mezcla de ordenaciones de tokens, lo que requiere aproximadamente 3 veces más cómputo que el entrenamiento estándar de escaneo rasterizado. Además, la difusión discreta sacrifica la compatibilidad con el ecosistema de inferencia AR, como KV caching y vLLM, por su propia construcción. Los investigadores argumentan que este coste es innecesario.