vLLM v0.34.0rc3 lanzado con soporte para la exportación de caché KV extensible
En breve
vLLM, un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs, ha lanzado la versión v0.34.0rc3. Esta actualización incluye la asignación de un caché KV extensible exportable para EXPORTS.
vLLM, un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs, ha lanzado la versión v0.34.0rc3.
A través de KVConnector, este lanzamiento permite la asignación de un caché KV extensible exportable para EXPORTS.
Esta noticia es un resumen. La versión completa y verificable está en la fuente original:
Leer el original en vLLM ↗