Propuesta de método para reducir la interferencia representacional en embeddings de recuperación

Investigación✍ TextoPublicado: Fuente: Hugging Face Papers

#Hugging Face

En breve

Se ha propuesto un método para reducir la interferencia entre el contenido semántico y la información residual a nivel de token durante la compresión de modelos de embedding mediante tokens de prefijo entrenables.

Los modelos de embedding comprimen texto de longitud variable en representaciones vectoriales de tamaño fijo, pero esta compresión puede entrelazar el contenido semántico con información residual a nivel de token, como artefactos derivados del comportamiento de attention sink.

Un estudio publicado en Hugging Face Papers propone un método sencillo que antepone tokens [DUMP] entrenables a la entrada durante el entrenamiento del modelo de embedding. El método mantiene sin cambios la arquitectura del modelo, la estrategia de pooling y la pérdida de entrenamiento, mientras optimiza los tokens añadidos a través del objetivo de recuperación contrastiva estándar. El artículo recibió 6 upvotes en Hugging Face Daily Papers.

Esta noticia es un resumen. La versión completa y verificable está en la fuente original:

Leer el original en Hugging Face Papers ↗