Investigación sobre el aumento de bits de peso durante pasos de decodificación inciertos
Se anunció un estudio de simulación de cuantización que vuelve a decodificar a 8 bits solo cuando la incertidumbre de la salida es alta usando Qwen3-0.6B.
Un estudio sobre la asignación de bits de peso en modelos locales pequeños fue publicado en Hugging Face Daily Papers. El método consiste en almacenar pesos de 8 bits y decodificar con sus 4 bits superiores, pero repitiendo un paso a 8 bits solo cuando la distribución de salida de baja precisión parece incierta, como cuando la entropía supera un umbral o hay un margen pequeño entre los dos primeros resultados.
Utilizando Qwen3-0.6B, los investigadores simularon la cuantización con el benchmark GSM8K. El costo se midió en bytes de peso leídos por token. En 36,724 pasos reproducidos, la entropía del paso de baja precisión clasificó los cambios de argmax con un AUC de 0.93. Con un presupuesto de escalada del 15%, el método capturó el 78% de los cambios y el 94% mediante la puerta de margen, en comparación con el 15% esperado para una puerta aleatoria con la misma tasa.
Esta noticia es un resumen. La versión completa y verificable está en la fuente original:
Leer el original en Hugging Face Papers ↗