SemiAnalysisの新ベンチマーク、AIエージェントのスコアは12%未満
要点
SemiAnalysisが発表した新ベンチマーク「GDPx」において、チップ設計や計量取引などのタスクをこなすAIエージェントのスコアが、いずれも12%を超えなかった。
SemiAnalysisは、チップ設計から計量取引(quant trading)までを網羅する、シミュレーションされた知識労働を対象とした新しいベンチマーク「GDPx」を発表した。このテストにおいて、どのモデルも12%のスコアを突破することはなかった。
スコアでは、Claude Opus 5.5がGemini 4 Carbonを僅差で上回った。一方で、各ドメインあたりのタスク数が少ないことや、テスト条件が不均一であるといった批判も出ている。
この記事は要約です。正確で完全な内容は元の記事をご確認ください。
元の記事を読む: The Decoder ↗