Apple、言語モデルの調整における理論的限界に関する研究を発表

研究・論文✍ テキスト公開: 出典: Apple Machine Learning Research

#Apple

要点

Apple Machine Learning Researchは、言語モデルの調整において、KLダイバージェンスの制約下での報酬向上の根本的な限界が十分に理解されていないと指摘した。

Apple Machine Learning Researchは、言語モデル(LM)の調整に関する研究を発表した。言語モデルの調整は、ベースモデルの能力を維持しながら、モデルの出力を人間の好みに反映させることを目的としている。

現在、最も一般的な調整手法には、KLダイバージェンスの制約下で期待報酬を最大化する強化学習と、NNN個の独立したサンプルの中から最も高い報酬を得られる出力を選択するbest-of-NNN調整の2種類がある。同研究は、KL予算下における報酬向上の根本的な限界については、まだ十分に理解されていないと述べている。

この記事は要約です。正確で完全な内容は元の記事をご確認ください。

元の記事を読む: Apple Machine Learning Research ↗