検索用埋め込みモデルの干渉を低減する手法を提案
要点
埋め込みモデルの圧縮時に生じる意味内容と残差トークン情報の干渉を、学習可能なPrefix Tokenを用いることで低減する手法が提案された。
埋め込みモデルは可変長のテキストを固定サイズのベクトル表現に圧縮するが、この圧縮プロセスにおいて、attention sinkの挙動に起因するアーティファクトなどの残差トークンレベルの情報と、意味内容が絡み合う可能性がある。
Hugging Face Papersに掲載された研究では、埋め込みモデルのトレーニング中に、学習可能な[DUMP]トークンを入力の先頭に追加するシンプルな手法が提案されている。この手法は、モデルのアーキテクチャ、プーリング戦略、およびトレーニング損失を変更せず、標準的な対照的な検索目的関数を通じて追加されたトークンを最適化するものである。なお、この論文はHugging Face Daily Papersで6つのアップボートを獲得した。
この記事は要約です。正確で完全な内容は元の記事をご確認ください。
元の記事を読む: Hugging Face Papers ↗