不確実なデコード時に重みのビット数を増やす手法の研究
要点
Qwen3-0.6Bを用い、出力の不確実性が高い場合にのみ8ビットで再計算を行う、量子化シミュレーションの研究が発表された。
Hugging Face Daily Papersにて、小規模なローカルモデルにおける重みのビット割り当てに関する研究が公開された。この手法では、通常は8ビットの重みを保存し、上位4ビットでデコードを行う。ただし、低精度での出力分布が不確実(エントロピーが閾値を超える、または上位2つの差が小さい)と判断された場合にのみ、8ビットでステップをやり直す。
研究ではQwen3-0.6Bを使用し、GSM8Kをベンチマークとして量子化をシミュレートした。コストはトークンあたりの読み取り重みバイト数で算出されている。36,724回のリプレイステップにおいて、低精度パスのエントロピーはargmaxの反転をAUC 0.93でランク付けした。15%のエスカレーション予算において、この手法は反転の78%を、マージンゲートでは94%を捕捉した。これは、同等のレートを持つランダムなゲートの期待値である15%と比較して高い数値となっている。
この記事は要約です。正確で完全な内容は元の記事をご確認ください。
元の記事を読む: Hugging Face Papers ↗