単一のアルゴリズムで基盤モデルを訓練する手法を提案

基盤モデルは通常、事前学習、中間学習、教師あり微調整（SFT）、強化学習（RL）といった段階を経て訓練され、それぞれの段階でデータや学習アルゴリズムが変更される。しかし、本研究ではこのアルゴリズムの分離は根本的なものではないと示している。

モデルが生成したターゲット分布への最大尤度適合として適切なRL目的関数を導出することで、これらすべての段階を単一の尤度ベースの訓練アルゴリズム、すなわち「unified training」の下に置くことができる。この視点により、基盤モデルの訓練ライフサイクルは、どのデータを、どのような割合で、いつ使用するかを選択する問題へと変化し、従来の段階的な訓練は特殊なケースとなる。この論文はHugging Face Daily Papersで5つのアップボートを獲得した。