vLLM v0.34.0rc2がリリース、一部の拡張機能で設定変更
要点
vLLMの新しいバージョンであるv0.34.0rc2が公開された。多くの拡張可能な機能において、gpu_memory_utilizationの設定を行わないよう変更されている。
vLLMの新しいバージョンであるv0.34.0rc2がリリースされた。
今回のアップデートでは、多くの拡張可能な機能において、gpu_memory_utilizationを設定しないよう変更されている。
この記事は要約です。正確で完全な内容は元の記事をご確認ください。
元の記事を読む: vLLM ↗