画像検索の精度向上を目指すFactEmbedを提案

Composed Image Retrieval (CIR)は、参照画像と修正テキストを組み合わせて目的の画像を検索することを目指す手法である。近年のMultimodal Large Language Models (MLLMs)を活用したアプローチは大きな進展を見せているが、研究者らはMLLMの構成理解が十分に活用されていないと主張している。

この課題は、対照学習による監督のみを用いて構成されたクエリを検索用埋め込みに直接マッピングしており、意図された視覚的修正を明示的に解決していないことに起因する。本研究では、構成クエリの理解と識別的な埋め込みの構築を分離するFactorized MLLM Embeddings (FactEmbed)を導入した。この論文はHugging Face Daily Papersで37件のアップボートを獲得している。