SAE revela la especialización de grano fino de los expertos de MoE

InvestigaciónPublicado: Fuente: Hugging Face Papers

#Hugging Face

En breve

Una investigación publicada en Hugging Face Papers demuestra un método que utiliza Sparse AutoEncoders (SAE) para revelar la especialización de grano fino de los expertos en modelos MoE.

Los modelos Mixture-of-Experts (MoE) dirigen cada token a unos pocos de entre muchos expertos, pero aún no se ha determinado de qué es responsable cada experto individual. Los análisis existentes cuentan con qué frecuencia se selecciona un experto en corpus etiquetados por dominio, un instrumento que fija la taxonomía de antemano, es tosco y registra la selección en lugar de la contribución.

Este estudio investiga la especialización en el espacio de características mediante el entrenamiento de un autoencoder disperso (SAE) sobre la salida de una capa MoE. Dado que esta salida es una suma ponderada por el enrutador de las salidas de los expertos y el codificador SAE es afín, la preactivación de cada latente se descompone exactamente sobre los expertos. El artículo recibió 6 votos positivos en Hugging Face Daily Papers.

Esta noticia es un resumen. La versión completa y verificable está en la fuente original:

Leer el original en Hugging Face Papers ↗