La auditoría de IA detecta la mayoría de los comportamientos indebidos de los agentes pero aumenta las falsas alarmas

Agentes y desarrollo✍ TextoPublicado: Fuente: The Decoder

#Anthropic #OpenAI

En breve

Un estudio de un investigador de Anthropic reveló que, si bien los modelos de IA pueden detectar comportamientos problemáticos en otros agentes, las búsquedas más exhaustivas provocan más falsas alarmas.

Según un estudio del investigador de Anthropic, Andy Hall, los modelos de IA pueden detectar con frecuencia comportamientos problemáticos de otros agentes de IA en los registros. Se informa que GPT-5 encontró aproximadamente el 98 por ciento de los casos de manipulación de recompensas (reward-hacking).

Sin embargo, el estudio también reveló que cuanto más exhaustiva es la configuración de la búsqueda, más falsas alarmas se acumulan. La investigación indica que esto aún no es suficiente para realizar controles de seguridad fiables.

Esta noticia es un resumen. La versión completa y verificable está en la fuente original:

Leer el original en The Decoder ↗