Linear Attentionの改良手法「Muir」に関する研究論文が公開

研究・論文公開: 出典: Hugging Face Papers

#Hugging Face

要点

Linear Attentionの課題に対し、感度に基づいたゲート制御とマッチドフィルタ読み出しを用いる「Muir」が提案された。

Linear Attentionは、コンテキストを固定サイズのキー・バリュー状態に圧縮することで、線形時間の学習と定数メモリの推論を可能にする。Gated DeltaNet-2 (GDN-2) は、チャネルごとの減衰と、分離されたフルランクの消去・書き込みゲートを備えることで、この状態を減衰させ、新しい値を書き込む前に予測を消去する手法を一般化したものである。

本研究では、状態の更新において、書き込みよりも消去に対する感度がはるかに低いことを示している。キーの活性化とユニット正規化によって、キーのエネルギーはチャネルの疎なサブセットに集中する一方、値の書き込みはすべてのチャネルにスケールするため、消去ゲートはより低いランクでパラメータ化できるとしている。この論文は、Hugging Face Daily Papersで4つのアップボートを獲得した。

この記事は要約です。正確で完全な内容は元の記事をご確認ください。

元の記事を読む: Hugging Face Papers ↗