vLLM v0.34.0rc3をリリース、拡張可能なKVキャッシュのエクスポートに対応
要点
LLM向けの高速かつメモリ効率の高い推論・サービングエンジンであるvLLMが、v0.34.0rc3をリリースした。今回のアップデートでは、EXPORTS向けに拡張可能なKVキャッシュの割り当てに対応している。
LLM向けの高速かつメモリ効率の高い推論・サービングエンジンであるvLLMが、v0.34.0rc3をリリースした。
今回のリリースでは、KVConnectorを通じて、EXPORTS向けに拡張可能なKVキャッシュを割り当てることが可能となっている。
この記事は要約です。正確で完全な内容は元の記事をご確認ください。
元の記事を読む: vLLM ↗