Lanzamiento de vLLM v0.34.0rc1
En breve
Se ha lanzado vLLM v0.34.0rc1, un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs.
Se ha lanzado vLLM v0.34.0rc1, un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs.
Esta versión incluye correcciones de errores para Spec Decode y XPU. Específicamente, se corrige greedy_argmax para tratar NaN como -inf.
Esta noticia es un resumen. La versión completa y verificable está en la fuente original:
Leer el original en vLLM ↗