Lanzamiento de vLLM v0.33.0rc0
En breve
Se ha lanzado vLLM v0.33.0rc0, un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs.
Se ha lanzado vLLM v0.33.0rc0, un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs.
Esta versión incluye [Bugfix][MRV2] para omitir el perfilado de costos de verificación adaptativa en CUDA.
Esta noticia es un resumen. La versión completa y verificable está en la fuente original:
Leer el original en vLLM ↗