Alibabaのベンチマーク、AIコーディングエージェントの課題を指摘

エージェント・開発✍ テキスト公開: 出典: The Decoder

#Alibaba Qwen #OpenAI

要点

Alibabaが発表したCo-Design Benchによると、実世界のタスクにおいて、最高性能のGPT-6 Astraでも完全解決できたのは26.4%に留まった。

Alibabaは、実世界のユーザーリクエストに基づき、AIエージェントをテストする新しいコーディングエージェント用ベンチマーク「Co-Design Bench」を発表した。このベンチマークは、以前にAIが実際に失敗したリクエストを使用している。

テストの結果、最高性能を示したGPT-6 Astraでさえ、タスクを完全に解決できたのは26.4%のみであった。一方で、従来のベンチマークでは、同モデルは99%以上のスコアを記録している。

この記事は要約です。正確で完全な内容は元の記事をご確認ください。

元の記事を読む: The Decoder ↗