¡748B DeepSeek es aún más rápido con 1 GPU! La generación aumenta hasta aproximadamente 2 veces
En breve
El obstáculo para ejecutar un modelo MoE masivo en una GPU local ha bajado un escalón más. El software de inferencia de LLM "Project Maya", que se desarrolla en GitHub, lanzó su última versión "v1.1.28" el 26 de octubre.
El software de inferencia de LLM "Project Maya", que se desarrolla en GitHub, lanzó su última versión "v1.1.28" el 26 de octubre.
Con esta actualización, se informa que la velocidad de generación aumenta hasta aproximadamente 2 veces al ejecutar el DeepSeek 748B con una sola GPU. Esto reduce aún más el obstáculo para ejecutar modelos MoE masivos en una GPU local.
Esta noticia es un resumen. La versión completa y verificable está en la fuente original:
Leer el original en PC Watch ↗