コーディングエージェントの構成変更は、精度向上に寄与せずコストのみ増大させるとの研究結果
要点
Claude Code、OpenCode、mini-SWE-agentなどの構成を切り替えても、パス率の向上はほとんど見られず、システムプロンプトの再送によりタスクあたりのコストが最大3倍になるとの研究結果が示された。
制御された研究により、Claude Code、OpenCode、mini-SWE-agentといったコーディングエージェントの構成(harness)を切り替えても、同じ設定を再実行する場合と比較してパス率がほとんど変化しないことが明らかになった。
一方で、タスクあたりのコストは最大で3倍に膨らむ可能性がある。これは主に、ステップごとに再送されるシステムプロンプトが原因であるとされている。
この記事は要約です。正確で完全な内容は元の記事をご確認ください。
元の記事を読む: The Decoder ↗