Lanzamiento de vLLM v0.34.0rc1

IA local y open source✍ TextoPublicado: Fuente: vLLM

#Ollama

En breve

Se ha lanzado vLLM v0.34.0rc1, un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs.

Se ha lanzado vLLM v0.34.0rc1, un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs.

Esta versión incluye correcciones de errores para Spec Decode y XPU. Específicamente, se corrige greedy_argmax para tratar NaN como -inf.

Esta noticia es un resumen. La versión completa y verificable está en la fuente original:

Leer el original en vLLM ↗