X上のまとめによると、Stripeはコーディングエージェントが自社の連携実装をどれだけこなせるかを測るベンチマーク「Stripe evals」を公開した。単発決済、サブスクリプション、Connectにまたがる69の実務シナリオで評価する。14のモデル構成で比較したところ、Stripeの推奨プラグインを使うと成功率が3〜8ポイント上がり、Web検索は96%、テストの行数は40%減った。評価基準の平均達成率は78%だったが、すべての要件を満たした実行は29%にとどまった。ツールと結果はstripe.dev/evalsでオープンソースとして公開され、ハーネスのForgeも利用できる。
Stripe、コーディングエージェント向けベンチマーク「Stripe evals」を公開 全要件を満たした実行は29%
## POINTS
- 決済・サブスクリプション・Connectの69シナリオでエージェントを評価。
- 推奨プラグインで成功率が3〜8ポイント向上、Web検索は96%減。
- 基準の平均達成率は78%、全要件を満たした実行は29%。
- ツールと結果はstripe.dev/evalsで公開。