Propuesta de un método para entrenar modelos fundacionales con un único algoritmo

Los modelos fundacionales se entrenan normalmente en etapas: preentrenamiento, entrenamiento intermedio, ajuste fino supervisado (SFT) y aprendizaje por refuerzo (RL), con cambios tanto en los datos como en los algoritmos de aprendizaje. Sin embargo, esta investigación muestra que esta separación algorítmica no es fundamental.

Al derivar objetivos de RL adecuados como un ajuste de máxima verosimilitud a las distribuciones de destino generadas por el modelo, todas estas etapas pueden situarse bajo un único algoritmo de entrenamiento basado en la verosimilitud, denominado unified training. Esta perspectiva convierte el ciclo de vida del entrenamiento de modelos fundacionales en un problema de elegir sobre qué datos entrenar, en qué proporciones y cuándo, siendo el entrenamiento por etapas convencional un caso especial. El artículo recibió 5 votos positivos en Hugging Face Daily Papers.