AIの欺瞞を評価する「FraudBench」が発表される

研究・論文✍ テキスト公開: 出典: Hugging Face Papers

#Hugging Face

要点

米国法における詐欺行為をLLMが推奨・支援・実行する傾向を評価する、159のシナリオに基づく新しいデータセットが導入された。

Hugging Face Papersにて、大規模言語モデル(LLM)が米国法における詐欺に該当する行為を、推奨、支援、または直接実行する傾向を評価する「FraudBench」が発表された。

この評価には、実際の米国の裁判例に基づき、法律の専門家によって検証された159のシナリオからなる新しいデータセットが含まれている。

評価は、ユーザーへの助言、ユーザーが送信するためのメッセージの作成、およびユーザーに代わって直接行動するという、異なる自律レベルを持つ3つのタスク(計477タスク)を通じて、各シナリオをLLMに提示する形式で行われる。なお、本論文はHugging Face Daily Papersで1件のアップボートを獲得している。

この記事は要約です。正確で完全な内容は元の記事をご確認ください。

元の記事を読む: Hugging Face Papers ↗