Estudio investiga el impacto de la memoria visual en la generación de videos largos

Los generadores de videos largos recuperan cada vez más observaciones visuales pasadas para evitar la deriva de identidad. Sin embargo, debido a que una imagen puede ser fiel al pasado pero incorrecta para el presente, surgen dudas sobre si la memoria visual siempre mejora la historia generada.

La investigación investiga esto a través de VMem-Bench, un estudio de diagnóstico de dos vías. La Track-A mide qué referencias se seleccionan de 92 películas reales (16,548 segmentos) antes de la generación y sin confusiones del generador. La Track-B compara cuatro políticas de recuperación con controles de sin memoria y gold-informed last-seen en 30 historias generadas causalmente (2,824 segmentos) utilizando un generador compartido. El artículo recibió 4 upvotes en Hugging Face Daily Papers.