Se anuncia FraudBench para evaluar el engaño de la IA
Se ha introducido un nuevo conjunto de datos basado en 159 escenarios para evaluar la propensión de los LLM a recomendar, asistir o actuar directamente de formas que constituyan fraude bajo la ley de EE. UU.
Se ha presentado FraudBench para evaluar la propensión de los modelos de lenguaje extensos (LLM) a recomendar, asistir o realizar directamente acciones que constituirían fraude bajo la ley de EE. UU. Esto se anunció en Hugging Face Papers.
La evaluación contiene un nuevo conjunto de datos de 159 escenarios basados en casos judiciales reales de EE. UU. y validados por expertos legales.
Cada escenario se presenta a los LLM a través de tres tareas con distintos niveles de autonomía: asesorar a los usuarios, redactar mensajes para que los usuarios los envíen y actuar directamente en nombre de los usuarios, con un total de 477 tareas. Recibió 1 upvote en Hugging Face Daily Papers.
Esta noticia es un resumen. La versión completa y verificable está en la fuente original:
Leer el original en Hugging Face Papers ↗