Anunciado FLAMIA para un entrenamiento rápido y causalmente seguro en Blackwell
FLAMIA ha surgido como una familia de kernels de atención que reduce los costes de entrenamiento de Transformer y aprovecha las GPUs NVIDIA Blackwell, con soporte para MXFP8 y rutas mixtas NVFP4/FP8.
En el entrenamiento de Transformer, la atención sigue siendo un coste computacional sustancial, especialmente en longitudes de contexto largas. Si bien las GPUs NVIDIA Blackwell proporcionan multiplicación de matrices de baja precisión de alto rendimiento, aprovechar esto en la atención requiere abordar la sobrecarga de cuantización, la fuga de información causal a través de escalas compartidas y las inconsistencias numéricas entre las pasadas hacia adelante y hacia atrás.
En respuesta, se presentó FLAMIA. Se trata de una familia de kernels de atención para Blackwell con rutas de entrenamiento MXFP8 y mixtas NVFP4/FP8. El artículo recibió 12 votos positivos en Hugging Face Daily Papers.
Esta noticia es un resumen. La versión completa y verificable está en la fuente original:
Leer el original en Hugging Face Papers ↗