vLLM v0.34.0rc3 lanzado con soporte para la exportación de caché KV extensible

IA local y open source✍ TextoPublicado: Fuente: vLLM

#Ollama

En breve

vLLM, un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs, ha lanzado la versión v0.34.0rc3. Esta actualización incluye la asignación de un caché KV extensible exportable para EXPORTS.

vLLM, un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs, ha lanzado la versión v0.34.0rc3.

A través de KVConnector, este lanzamiento permite la asignación de un caché KV extensible exportable para EXPORTS.

Esta noticia es un resumen. La versión completa y verificable está en la fuente original:

Leer el original en vLLM ↗