日本語の推論過程付き数量推論データセット「JaMathCoT」を作成し、Sarashina2.2をSFT

Hugging Face✍ テキスト公開: 出典: Zenn (Hugging Face)
要点

LLMの日本語数量推論能力向上を目的として、問題と推論過程を含む合成データセット「JaMathCoT」を作成し、Sarashina2.2のSFTを試行した。

大規模言語モデル(LLM)の推論能力を向上させる手法として、最終回答だけでなく中間的な推論過程を自然言語で出力するChain-of-Thought(CoT)があります。

今回、CoTを用いたLLMの日本語数量推論能力向上を目的として、日本語の数量推論問題および推論過程を含む合成データセット「JaMathCoT」を作成しました。また、作成したJaMathCoTと既存の数量推論データセットを用いて、Sarashina2.2のSFT(Supervised Fine-Tuning)を試行しました。

この記事は要約です。正確で完全な内容は元の記事をご確認ください。

元の記事を読む: Zenn (Hugging Face) ↗