vLLM v0.33.0rc2がリリース、gfx950向けのバグ修正を含む

ローカル・OSS✍ テキスト公開: 出典: vLLM

#Ollama

要点

LLMの高スループットかつメモリ効率の高い推論・サービングエンジンであるvLLMのv0.33.0rc2がリリースされた。gfx950においてM*Nが2^31以上の場合にAITER調整済みGEMMをスキップするバグ修正が含まれている。

LLMの高スループットかつメモリ効率の高い推論・サービングエンジンであるvLLMのv0.33.0rc2がリリースされた。

今回のリリースでは、ROCm環境下のgfx950において、M*Nが2^31以上となる場合にAITER調整済みGEMMをスキップするバグ修正が行われた。この修正はMicah Williamson氏によって署名されている。

この記事は要約です。正確で完全な内容は元の記事をご確認ください。

元の記事を読む: vLLM ↗