ノギスの動画から仕切り板を設計させたら、Claude Opus 5.5は1回実物と同じ読み違いをしGPT-6.1 Solは3回とも正解

モデル公開: 出典: Zenn (LLM)

#Anthropic #OpenAI #Claude Code

要点

ペン立ての仕切り板を3Dプリンターで作り直す際、ノギスの写真と動画を用いた設計テストを実施。GPT-6.1 Sol(reasoning high)は3回とも正解したが、Claude Opus 5.5(effort high)は1回実物と同じ読み違いをした。

ペン立ての仕切り板がなくなったため、3Dプリンターで作り直す試みが行われた。ノギスで測定した写真と動画をClaude Code(Claude Opus 5.5)に渡して設計を依頼したが、完成した板はペン立てに適合しなかった。

このため、同じ写真と動画を素材として、独自のLLMベンチマークであるOreOre-Benchに問題が追加された。テストの結果、GPT-6.1 Sol(reasoning high)は3回とも適合する寸法の板を出力した。一方で、Claude Opus 5.5(effort high)は3回中1回、実物で失敗した際と同じ読み違いを行い、適合しなかった。

この記事は要約です。正確で完全な内容は元の記事をご確認ください。

元の記事を読む: Zenn (LLM) ↗