Investigación sobre el impacto de la decodificación restringida en el rendimiento de los LLM

En el artículo "Constrained Decoding: Harmful or Beneficial? Revisiting Its Impact on LLM Performance", Hugging Face Papers investigó la decodificación restringida, la cual garantiza que los modelos de lenguaje de gran tamaño (LLM) produzcan salidas que se ajusten a formatos predefinidos. Se suele asumir que este método degrada inherentemente el razonamiento.

La investigación examina este supuesto a través de una taxonomía de tres tipos de restricciones: restricciones de formato, que imponen la estructura de salida; restricciones de validez, que enmascaran respuestas inválidas; y restricciones de razonamiento, que limitan las trayectorias de razonamiento. Los autores muestran teóricamente que las restricciones adecuadas pueden preservar o mejorar el rendimiento al eliminar rutas inválidas.