Apple anuncia investigación sobre los límites teóricos de la alineación de modelos de lenguaje

Investigación✍ TextoPublicado: Fuente: Apple Machine Learning Research

#Apple

En breve

Apple Machine Learning Research señaló que los límites fundamentales de la mejora de la recompensa bajo un presupuesto de KL aún no se comprenden bien en la alineación de modelos de lenguaje.

Apple Machine Learning Research anunció una investigación sobre la alineación de modelos de lenguaje (LM). La alineación de LM mejora los resultados del modelo para reflejar las preferencias humanas mientras se preservan las capacidades del modelo base.

Los enfoques de alineación más comunes son (i) el aprendizaje por refuerzo, que maximiza la recompensa esperada bajo una restricción de divergencia KL, y (ii) la alineación best-of-NNN, que selecciona el resultado con la mayor recompensa entre NNN muestras independientes. La investigación afirma que los límites fundamentales de la mejora de la recompensa bajo un presupuesto de KL aún no se comprenden bien.

Esta noticia es un resumen. La versión completa y verificable está en la fuente original:

Leer el original en Apple Machine Learning Research ↗