Alibabaのベンチマーク、AIコーディングエージェントの課題を指摘
要点
Alibabaが発表したCo-Design Benchによると、実世界のタスクにおいて、最高性能のGPT-6 Astraでも完全解決できたのは26.4%に留まった。
Alibabaは、実世界のユーザーリクエストに基づき、AIエージェントをテストする新しいコーディングエージェント用ベンチマーク「Co-Design Bench」を発表した。このベンチマークは、以前にAIが実際に失敗したリクエストを使用している。
テストの結果、最高性能を示したGPT-6 Astraでさえ、タスクを完全に解決できたのは26.4%のみであった。一方で、従来のベンチマークでは、同モデルは99%以上のスコアを記録している。
この記事は要約です。正確で完全な内容は元の記事をご確認ください。
元の記事を読む: The Decoder ↗