Ejecución de LFM3-1.7B con 6GB de VRAM: las 3 cuantizaciones en GPU, Q4_K_M y la versión QAD Q4_0 alcanzan aprox. 152 tok/s
Resultados de la medición de tres GGUF de LFM3-1.7B (Q4_K_M, versión QAD Q4_0, Q8_0) en una GPU con 6GB de VRAM utilizada junto con la visualización de pantalla. Usando llama.cpp (b12005) llama-server, con el pensamiento desactivado y configuración de contexto 4096, los tres cargaron todas las capas en la GPU. La generación fue de aprox. 152 tok/s tanto para Q4_K_M como para la versión QAD Q4_0, y de aprox. 107 tok/s para Q8_0.
Se realizaron pruebas de tres versiones GGUF de LFM3-1.7B (Q4_K_M, versión QAD Q4_0 y Q8_0) utilizando una GPU con 6GB de VRAM que también se utilizaba para la visualización de pantalla. La prueba utilizó llama.cpp (b12005) llama-server con el pensamiento desactivado y una configuración de contexto de 4096. Como resultado, las tres versiones cargaron todas las capas en la GPU.
En cuanto a las velocidades de generación, Q4_K_M y la versión QAD Q4_0 alcanzaron aproximadamente 152 tok/s, mientras que Q8_0 alcanzó aproximadamente 107 tok/s. Los resultados detallados, que incluyen tablas para cada problema, gráficos de transición de VRAM y cómo se respondieron incorrectamente todas las preguntas, están disponibles en la versión detallada del blog.
Esta noticia es un resumen. La versión completa y verificable está en la fuente original:
Leer el original en Zenn (LLM) ↗