PixVid:潜在空間からピクセル空間へ動画生成を拡張する手法を提案
要点
Hugging Face Papersにて、事前学習済みの潜在動画モデルをピクセル空間で直接生成可能にする手法「PixVid」が発表された。
最先端の動画生成モデルは、空間と時間の両方で動画を圧縮するVAE潜在空間で動作している。この圧縮は学習を可能にする一方で、高解像度化、制御性、インタラクティブな生成を制限している。解像度を2倍にするとトークン数が4倍になり、条件付けが個々のフレームではなくフレームのグループに適用されることや、各レスポンスがマルチフレームブロックの残りを待つ必要があるといった課題がある。
PixVidは、事前学習済みの潜在動画モデルをピクセル空間で直接すべてのフレームを生成できるように変換する、シンプルかつ効果的な手法である。この手法は、Diffusion Transformerを維持したまま、VAEデコーダーを出力をピクセルにレンダリングする畳み込みヘッドに置き換える。この論文はHugging Face Daily Papersで1件のUpvoteを獲得している。
この記事は要約です。正確で完全な内容は元の記事をご確認ください。
元の記事を読む: Hugging Face Papers ↗