AIの欺瞞を評価する「FraudBench」が発表される
要点
米国法における詐欺行為をLLMが推奨・支援・実行する傾向を評価する、159のシナリオに基づく新しいデータセットが導入された。
Hugging Face Papersにて、大規模言語モデル(LLM)が米国法における詐欺に該当する行為を、推奨、支援、または直接実行する傾向を評価する「FraudBench」が発表された。
この評価には、実際の米国の裁判例に基づき、法律の専門家によって検証された159のシナリオからなる新しいデータセットが含まれている。
評価は、ユーザーへの助言、ユーザーが送信するためのメッセージの作成、およびユーザーに代わって直接行動するという、異なる自律レベルを持つ3つのタスク(計477タスク)を通じて、各シナリオをLLMに提示する形式で行われる。なお、本論文はHugging Face Daily Papersで1件のアップボートを獲得している。
この記事は要約です。正確で完全な内容は元の記事をご確認ください。
元の記事を読む: Hugging Face Papers ↗