El benchmark de Alibaba destaca los desafíos de los agentes de codificación de IA
En breve
Según el Co-Design Bench de Alibaba, incluso el GPT-6 Astra, de mejor rendimiento, solo resolvió completamente el 26.4% de las tareas en pruebas del mundo real.
Alibaba ha presentado Co-Design Bench, un nuevo benchmark para agentes de codificación que evalúa a los agentes de IA con solicitudes reales de usuarios que ya les habían causado problemas en la práctica.
En la prueba, incluso el modelo con mejor desempeño, GPT-6 Astra, resolvió completamente solo el 26.4% de las tareas. Esto contrasta con los benchmarks anteriores, donde el mismo modelo obtiene puntuaciones superiores al 99%.
Esta noticia es un resumen. La versión completa y verificable está en la fuente original:
Leer el original en The Decoder ↗