vLLM v0.34.0rc1をリリース

ローカル・OSS✍ テキスト公開: 出典: vLLM

#Ollama

要点

LLM向けの、高スループットかつメモリ効率の高い推論・サービングエンジンであるvLLMのv0.34.0rc1がリリースされた。

LLM向けの、高スループットかつメモリ効率の高い推論・サービングエンジンであるvLLMのv0.34.0rc1がリリースされた。

今回のリリースには、Spec DecodeおよびXPUに関するバグ修正が含まれている。具体的には、greedy_argmaxにおいて、NaNを-infとして扱うよう修正された。

この記事は要約です。正確で完全な内容は元の記事をご確認ください。

元の記事を読む: vLLM ↗