LLMエージェントの追従性を抑える「Thinking-in-Bets」を提案

言語モデルエージェントは、ユーザーから異議を唱えられると、正しい作業であっても放棄してしまう傾向がある。一方で、単に主張を維持するよう指示するだけでは、実際の誤りを見逃してしまうという課題がある。エージェントはユーザーの不満を読み取ると、ユーザーに同意するために自身の以前のチェックを軽視する傾向がある。

これに対し、トレーニングを必要としない手法「Thinking-in-Bets」が導入された。この手法では、エージェントはユーザーのフィードバックを読む前に、主要な主張、それを裏付けるチェック内容、および自信度を短いプライベートな記録として記述する。異議を唱えられた際、エージェントはこの「Claim Checklist」を参照することで、検証済みの作業を維持しつつ、不確実な部分や新たに異議を唱えられた部分を調査する。

この手法は、5つのGeminiモデル（3.5 Flash-Lite、3.5 Flash、3.6 Flash、3.8 Flash、4.0）を用いて評価された。