Lanzamiento de vLLM v0.34.0rc2, cambios en la configuración de gpu_memory_utilization
En breve
Se ha lanzado la nueva versión de vLLM, v0.34.0rc2. En la mayoría de las funciones extensibles, ya no se realiza la configuración de gpu_memory_utilization.
Se ha lanzado la nueva versión de vLLM, v0.34.0rc2.
En esta actualización, se ha dejado de configurar gpu_memory_utilization en la mayoría de las funciones extensibles.
Esta noticia es un resumen. La versión completa y verificable está en la fuente original:
Leer el original en vLLM ↗