長尺動画生成における視覚的メモリの影響を調査する研究

長尺動画生成モデルは、キャラクターの同一性の変化を防ぐために、過去の視覚的観測情報を取得する傾向にある。しかし、過去に忠実な画像が現在の状況には不適切である可能性もあり、視覚的メモリが常に物語の質を向上させるのかという疑問が残る。

研究では、VMem-Benchを用いた2つのトラックによる診断調査が行われた。Track-Aでは、生成器の混同を避けた状態で、92本の実際の映画（16,548セグメント）からどの参照情報が選択されるかを測定した。Track-Bでは、共通の生成器を使用し、30の因果的に生成された物語（2,824セグメント）を用いて、メモリなしおよびgold-informed last-seenのコントロール群と4つの検索ポリシーを比較した。この論文はHugging Face Daily Papersで4つのアップボートを獲得している。