「言われれば直る」を重みへ移す──OPRDがスコープ付きリマインダー蒸留で長期コーディングエージェントを鍛える仕組み

研究・論文✍ テキスト公開: 出典: Zenn (LLM)
要点

リポジトリ規模のissue解決において、エージェントは文脈内の情報を活用できず失敗することがあるが、リマインダーの挿入でエラーは減少する。OPRDは、この「言われれば直る」挙動を訓練時にのみ利用して重みへ移す手法である。

リポジトリ規模のissue解決では、コードの正しさだけでなく、「タスク制約を守り続けること」や「ツール応答に反応すること」が効果的である。しかし、著者らによる診断分析では、エージェントは文脈内にすでに存在する情報を行動に活用できない場面で繰り返し失敗することが示されている。

興味深いことに、該当箇所にリマインダー(助言テキスト)を差し込むだけで、この種のエラーは実際に減少する。これは、モデルが「言われれば直る」ものの、言われないままでは失敗することを意味している。

しかし、推論時にリマインダーを使用することには、構築コスト、コンテキストの消費、および足場(scaffold)への依存という代償が伴う。OPRDは、この「言われれば直る」挙動を訓練時にのみ利用することで、その能力を重みへと移す仕組みである。

この記事は要約です。正確で完全な内容は元の記事をご確認ください。

元の記事を読む: Zenn (LLM) ↗