制約付きデコーディングがLLMの性能に与える影響を調査

Hugging Face Papersは、論文「Constrained Decoding: Harmful or Beneficial? Revisiting Its Impact on LLM Performance」において、制約付きデコーディングがLLMの出力を事前定義された形式に適合させる手法について調査した。この手法は、推論能力を本質的に低下させると想定されることが多い。

研究では、制約を「フォーマット制約（出力構造の強制）」「妥当性制約（無効な回答のマスク）」「推論制約（推論経路の制限）」の3つのタイプに分類した。理論的な検証の結果、適切な制約を用いることで、無効なパスを排除し、性能を維持または向上させることが可能であると示された。