ノギスの動画から仕切り板を設計させたら、Claude Opus 5.5は1回実物と同じ読み違いをしGPT-6.1 Solは3回とも正解
#Anthropic #OpenAI #Claude Code
要点
ペン立ての仕切り板を3Dプリンターで作り直す際、ノギスの写真と動画を用いた設計テストを実施。GPT-6.1 Sol(reasoning high)は3回とも正解したが、Claude Opus 5.5(effort high)は1回実物と同じ読み違いをした。
ペン立ての仕切り板がなくなったため、3Dプリンターで作り直す試みが行われた。ノギスで測定した写真と動画をClaude Code(Claude Opus 5.5)に渡して設計を依頼したが、完成した板はペン立てに適合しなかった。
このため、同じ写真と動画を素材として、独自のLLMベンチマークであるOreOre-Benchに問題が追加された。テストの結果、GPT-6.1 Sol(reasoning high)は3回とも適合する寸法の板を出力した。一方で、Claude Opus 5.5(effort high)は3回中1回、実物で失敗した際と同じ読み違いを行い、適合しなかった。
この記事は要約です。正確で完全な内容は元の記事をご確認ください。
元の記事を読む: Zenn (LLM) ↗