Lanzamiento de vLLM v0.34.0rc2, cambios en la configuración de gpu_memory_utilization

IA local y open sourcePublicado: Fuente: vLLM

#Ollama

En breve

Se ha lanzado la nueva versión de vLLM, v0.34.0rc2. En la mayoría de las funciones extensibles, ya no se realiza la configuración de gpu_memory_utilization.

Se ha lanzado la nueva versión de vLLM, v0.34.0rc2.

En esta actualización, se ha dejado de configurar gpu_memory_utilization en la mayoría de las funciones extensibles.

Esta noticia es un resumen. La versión completa y verificable está en la fuente original:

Leer el original en vLLM ↗