Blackwell向け高速・因果的安全な学習を実現するFLAMIAを発表

Transformerの学習において、特に長いコンテキスト長ではアテンションが大きな計算コストとなっている。NVIDIA Blackwell GPUは高スループットな低精度行列乗算を提供するが、アテンションでこれを活用するには、量子化のオーバーヘッド、共有スケールによる因果情報の漏洩、および順伝播と逆伝播の間の数値的不一致への対処が必要となる。

これに対し、Blackwell向けのFLAMIAが発表された。これはMXFP8および混合NVFP4/FP8の学習パスを備えたアテンションカーネルのファミリーである。この論文はHugging Face Daily Papersで12件のアップボートを獲得した。