AI監査によるエージェントの不正検知、誤検知の増加が課題
要点
Anthropicの研究者による調査で、AIモデルは他のエージェントの不適切な挙動を検知できる一方、詳細な探索を行うほど誤検知が増えることが判明した。
Anthropicの研究者であるAndy Hall氏による調査によると、AIモデルはログから他のAIエージェントによる問題のある挙動を多く特定できることが明らかになった。GPT-5は、報酬ハッキング(reward-hacking)の事例の約98%を発見したとされる。
しかし、探索をより徹底的に調整するほど、誤検知(false alarms)が蓄積するという課題も示された。同氏の研究によれば、信頼性の高い安全性チェックを実現するには、現時点ではまだ不十分であるとしている。
この記事は要約です。正確で完全な内容は元の記事をご確認ください。
元の記事を読む: The Decoder ↗