WebパフォーマンスのエンジニアであるNolan Lawson氏は、PokéAPIを使う小さなアプリを、公式のMCPやskillsを付けた各フレームワークの最新版で作らせた。モデルはOpus 5.5のhigh effortで、指示は仕様と適合テストだけで、SSRかCSRか、性能を優先するかは指定していない。費用はClaude Codeが表示したAPI価格で、氏自身は月100ドルのMax契約のため、この金額を実際に払ったわけではない。各構成の中央値は5回で、Angularは仕様を外した2回があるため、コード量と性能の一部は成功した3回の中央値だ。
費用の中央値はHonoとhtmxが2.67ドル、Astroが2.76ドル、Nuxtが2.82ドル、Next.jsが3.14ドル、SvelteKitが4.28ドル、Angularが4.97ドルだった。時間はAstroが8.2分、Angularが17.2分。非空行はHonoとhtmxが1370行、Angularが2009行で、氏は同じものを約7割のコードで作れたと書いている。一方でReact Routerの最安は2.82ドルで、Honoとhtmxの最高3.19ドルより安い。SvelteKitは毎回v3の移行ガイドを読んでおり、学習データに無い新しさが費用を押し上げた可能性がある。
LighthouseのPerformance、Accessibility、CLSはほぼ上限に張り付き、フレームワーク差は小さい。転送されたJavaScriptはAstroの中央値0KiBからNext.jsの142KiBまで開き、TBTはNext.js 71ミリ秒、Angular 103ミリ秒だった。LCPはばらつきが大きく、MPAに有利な指標でもある。対象は小さいコンテンツアプリで、エージェントは1種類、ブラウザはChromiumだけだ。技術選定に使うなら、この順位をそのまま採用せず、自分のアプリの種類と、MCPを実際に読んだ回だけを見て再計測する必要がある。