PyTorch、NCCL Extensionsのピンを0.2から更新
要点
PyTorchのtrunkにおいて、NCCL Extensionsのバージョンを0.2から更新する変更が加えられた。新バージョンのNCCL-EP v0.3は、Vera RubinのサポートやAttention–FFN Disaggregation(AFD)などの新機能を導入している。
PyTorchのtrunkにおいて、NCCL Extensionsのピンを0.2から更新する変更が加えられた。また、アーキテクチャリストがsm_90-or-newerとして指定されていない場合には、nccl-epをビルドしないよう変更されている。
新しくリリースされたNCCL-EP v0.3は、Vera Rubinのサポート、最適化された低レイテンシのNVLink dispatchおよびcombineカーネル、より広範なhidden-dimensionのサポート、およびzero-copy DeepSeek FP8 dispatchを追加している。また、Attention–FFN Disaggregation (AFD)を導入し、attentionとexpertの処理をrankグループ間で分離し、RDMA接続された別々のノードへの配置も可能にする。
さらに、対応するNVLink構成向けのハイスループットなpull-based dispatchとpush-based combine、MXFP8 combine、および対応するBlackwell以降のNVLink構成向けのCompute Fabric Transport (CFT)が追加された。これらは、EP v0.1およびv0.2でコンパイルされたアプリケーションとの互換性を維持している。
この記事は要約です。正確で完全な内容は元の記事をご確認ください。
元の記事を読む: PyTorch ↗