vLLM v0.34.0rc2がリリース、一部の拡張機能で設定変更

ローカル・OSS公開: 出典: vLLM

#Ollama

要点

vLLMの新しいバージョンであるv0.34.0rc2が公開された。多くの拡張可能な機能において、gpu_memory_utilizationの設定を行わないよう変更されている。

vLLMの新しいバージョンであるv0.34.0rc2がリリースされた。

今回のアップデートでは、多くの拡張可能な機能において、gpu_memory_utilizationを設定しないよう変更されている。

この記事は要約です。正確で完全な内容は元の記事をご確認ください。

元の記事を読む: vLLM ↗