vLLM v0.34.0rc3をリリース、拡張可能なKVキャッシュのエクスポートに対応

ローカル・OSS✍ テキスト公開: 出典: vLLM

#Ollama

要点

LLM向けの高速かつメモリ効率の高い推論・サービングエンジンであるvLLMが、v0.34.0rc3をリリースした。今回のアップデートでは、EXPORTS向けに拡張可能なKVキャッシュの割り当てに対応している。

LLM向けの高速かつメモリ効率の高い推論・サービングエンジンであるvLLMが、v0.34.0rc3をリリースした。

今回のリリースでは、KVConnectorを通じて、EXPORTS向けに拡張可能なKVキャッシュを割り当てることが可能となっている。

この記事は要約です。正確で完全な内容は元の記事をご確認ください。

元の記事を読む: vLLM ↗