Publicado un artículo de investigación sobre 'Muir', un método mejorado para Linear Attention

InvestigaciónPublicado: Fuente: Hugging Face Papers

#Hugging Face

En breve

Se propone Muir, que utiliza un gating con asignación de sensibilidad y una lectura de filtro adaptado para abordar los desafíos de Linear Attention.

Linear Attention comprime el contexto en un estado de clave-valor de tamaño fijo para permitir el entrenamiento en tiempo lineal y la inferencia con memoria constante. Gated DeltaNet-2 (GDN-2) generaliza esto mediante la aplicación de un decaimiento por canal y puertas de borrado y escritura de rango completo y desacopladas, que reducen este estado y borran su predicción para una clave entrante antes de escribir un nuevo valor.

La investigación muestra que las actualizaciones del estado son mucho menos sensibles al borrado que a las escrituras. Debido a que la activación de la clave y la normalización de la unidad concentran la energía de la clave en un subconjunto disperso de canales, mientras que las escrituras de valores escalan todos los canales, la puerta de borrado puede parametrizarse con un rango menor. Este artículo recibió 4 upvotes en Hugging Face Daily Papers.

Esta noticia es un resumen. La versión completa y verificable está en la fuente original:

Leer el original en Hugging Face Papers ↗