SAEを用いてMoEの専門家による細粒度な特化を解明
要点
Hugging Face Papersに掲載された研究により、Sparse AutoEncoder(SAE)を用いてMoEモデルの各専門家が持つ細粒度な特化を解明する手法が示された。
Mixture-of-Experts (MoE) モデルは、各トークンを多数の専門家のうちの数人にルーティングするが、個々の専門家が何を担っているかは未解明であった。既存の分析では、ドメインラベル付きコーパスで専門家が選択される頻度を数える手法が用いられていたが、これは事前に分類学を固定し、貢献度ではなく選択を記録する粗い手法であった。
本研究では、MoEレイヤーの出力に対してSparse AutoEncoder (SAE) を学習させることで、特徴空間における特化を調査した。MoEレイヤーの出力は専門家出力のルーター重み付き合計であり、SAEエンコーダーはアフィンであるため、すべての潜在変数の事前活性化は専門家ごとに正確に分解される。この論文はHugging Face Daily Papersで6つのアップボートを獲得した。
この記事は要約です。正確で完全な内容は元の記事をご確認ください。
元の記事を読む: Hugging Face Papers ↗