Lanzamiento de vLLM v0.33.0rc2 con corrección de errores para gfx950
En breve
Se ha lanzado vLLM v0.33.0rc2. Esta versión del motor de inferencia y servicio para LLM de alto rendimiento y eficiencia de memoria incluye una corrección de errores para omitir el GEMM ajustado con AITER cuando M*N >= 2^31 en gfx950.
Se ha lanzado vLLM v0.33.0rc2. vLLM es un motor de inferencia y servicio para LLMs de alto rendimiento y eficiencia de memoria.
Esta versión incluye una corrección de errores para ROCm en gfx950 para omitir el GEMM ajustado con AITER cuando M*N >= 2^31. Este cambio fue firmado por Micah Williamson.
Esta noticia es un resumen. La versión completa y verificable está en la fuente original:
Leer el original en vLLM ↗