PyTorch、NCCL Extensionsのピンを0.2から更新

研究・論文公開: 出典: PyTorch

#NVIDIA #DeepSeek

要点

PyTorchのtrunkにおいて、NCCL Extensionsのバージョンを0.2から更新する変更が加えられた。新バージョンのNCCL-EP v0.3は、Vera RubinのサポートやAttention–FFN Disaggregation(AFD)などの新機能を導入している。

PyTorchのtrunkにおいて、NCCL Extensionsのピンを0.2から更新する変更が加えられた。また、アーキテクチャリストがsm_90-or-newerとして指定されていない場合には、nccl-epをビルドしないよう変更されている。

新しくリリースされたNCCL-EP v0.3は、Vera Rubinのサポート、最適化された低レイテンシのNVLink dispatchおよびcombineカーネル、より広範なhidden-dimensionのサポート、およびzero-copy DeepSeek FP8 dispatchを追加している。また、Attention–FFN Disaggregation (AFD)を導入し、attentionとexpertの処理をrankグループ間で分離し、RDMA接続された別々のノードへの配置も可能にする。

さらに、対応するNVLink構成向けのハイスループットなpull-based dispatchとpush-based combine、MXFP8 combine、および対応するBlackwell以降のNVLink構成向けのCompute Fabric Transport (CFT)が追加された。これらは、EP v0.1およびv0.2でコンパイルされたアプリケーションとの互換性を維持している。

この記事は要約です。正確で完全な内容は元の記事をご確認ください。

元の記事を読む: PyTorch ↗