8090 Labs、同じモデルでもハーネスでDeepSWE成功率が最大35ポイント変動　GLM 5.3 Flashは24%→59%

8090 Labsは10月12日、DeepSWE v1.1の113タスクについて、7モデル×5ハーネスの組み合わせを各2回走らせた結果を示した。ハーネスだけを変えると成功率が大きく変わり、例としてGLM 5.3 Flashは24%から59%へ35ポイント動いた。Chamath Palihapitiyaは同日の投稿で、モデル単体のリーダーボードをあまり信用しなくなっていると述べ、ラッパー（ハーネス）の差がモデル差より大きく出る事例としてこの実験を紹介した。別の要約ではClaude Fable 5.1がClaude Codeで41%、Codexで61%になった例や、自社ハーネス以外でトップを取れないモデルが多い点、FrontierCode 1.1でClaude Opus 5.5でもマージ可能と判断されたのが52%程度にとどまる点も話題になっている。開発現場では「どのモデルか」だけでなく「どのコーディングエージェント／ツール構成か」をセットで評価する必要が改めて強調された。