本文へスキップ
MameTechNews
AI

Stripe、コーディングエージェント向けベンチマーク「Stripe evals」を公開 全要件を満たした実行は29%

## POINTS

  • 決済・サブスクリプション・Connectの69シナリオでエージェントを評価。
  • 推奨プラグインで成功率が3〜8ポイント向上、Web検索は96%減。
  • 基準の平均達成率は78%、全要件を満たした実行は29%。
  • ツールと結果はstripe.dev/evalsで公開。

X上のまとめによると、Stripeはコーディングエージェントが自社の連携実装をどれだけこなせるかを測るベンチマーク「Stripe evals」を公開した。単発決済、サブスクリプション、Connectにまたがる69の実務シナリオで評価する。14のモデル構成で比較したところ、Stripeの推奨プラグインを使うと成功率が3〜8ポイント上がり、Web検索は96%、テストの行数は40%減った。評価基準の平均達成率は78%だったが、すべての要件を満たした実行は29%にとどまった。ツールと結果はstripe.dev/evalsでオープンソースとして公開され、ハーネスのForgeも利用できる。