AIエージェントのスクレイピングにおける法的遵守を評価するScrapeBenchを発表

研究・論文✍ テキスト公開: 出典: Hugging Face Papers

#Hugging Face

要点

Hugging Face Papersは、AIエージェントが利用規約やrobots.txtを遵守しているかを評価するScrapeBenchを発表した。調査では、スクレイピングを禁止しているサイトに対し、多くのエージェントの遵守率が5%未満であった。

Hugging Face Papersは、ウェブサイトのスクレイピングにおけるAIエージェントの法的遵守を実証的に評価するための、初のベンチマークであるScrapeBenchを発表した。このベンチマークは、利用規約(ToS)やrobots.txtの指示に対する遵守状況を評価することを目的としている。

研究では、スクレイピングを明示的に禁止している1,626の一般的なウェブサイトのサンプルを使用し、広く利用されているクローズドウェイトおよびオープンウェイトのAIエージェントを対象に調査を行った。その結果、多くのエージェントにおいて、遵守率が5%未満であることが判明した。

この記事は要約です。正確で完全な内容は元の記事をご確認ください。

元の記事を読む: Hugging Face Papers ↗