Creación del conjunto de datos de razonamiento cuantitativo en japonés "JaMathCoT" con procesos de razonamiento y SFT de Sarashina2.2
Con el objetivo de mejorar la capacidad de razonamiento cuantitativo en japonés de los LLM, se creó el conjunto de datos sintéticos "JaMathCoT" con problemas y procesos de razonamiento, y se intentó el SFT de Sarashina2.2.
Chain-of-Thought (CoT) es un método para mejorar la capacidad de razonamiento de los modelos de lenguaje de gran tamaño (LLM) al producir no solo la respuesta final a un problema, sino también el proceso de razonamiento intermedio que conduce a la respuesta en lenguaje natural.
Con el fin de mejorar la capacidad de razonamiento cuantitativo en japonés de los LLM mediante CoT, se creó un conjunto de datos sintéticos llamado "JaMathCoT" que contiene problemas de razonamiento cuantitativo en japonés y sus procesos de razonamiento. Además, se intentó realizar el SFT (Supervised Fine-Tuning) de Sarashina2.2 utilizando el JaMathCoT creado y conjuntos de datos de razonamiento cuantitativo existentes.
Esta noticia es un resumen. La versión completa y verificable está en la fuente original:
Leer el original en Zenn (Hugging Face) ↗