Se propone FactEmbed para mejorar la recuperación de imágenes compuestas
Se anunció FactEmbed para optimizar la comprensión compositiva de los MLLM en CIR, que recupera imágenes objetivo usando una imagen de referencia y un texto de modificación.
La recuperación de imágenes compuestas (CIR) tiene como objetivo recuperar una imagen objetivo dada una imagen de referencia y un texto de modificación. Si bien los enfoques recientes que aprovechan los Modelos de Lenguaje Extensos Multimodales (MLLMs) han mostrado avances significativos, los investigadores argumentan que la comprensión compositiva de los MLLMs sigue siendo subutilizada.
Esto se debe a que se mapean directamente las consultas compuestas en un embedding de recuperación mediante supervisión contrastiva únicamente, sin resolver explícitamente las modificaciones visuales previstas. En este trabajo, los autores presentan Factorized MLLM Embeddings (FactEmbed), que desacopla la comprensión de la consulta compositiva de la construcción de embeddings discriminativos. El artículo recibió 37 votos positivos en Hugging Face Daily Papers.
Esta noticia es un resumen. La versión completa y verificable está en la fuente original:
Leer el original en Hugging Face Papers ↗