Anthropicのエンジニアリング投稿によると、同社エンジニアは2021〜2025年と比べて四半期あたり平均8倍のコードを出荷し、そのうちClaudeが8割を書いている。コードベースのテスト量は10倍に増え、エンジニア数の増加は限定的だった。この結果、CIジョブ量は半年で25倍になった。
同社は変更ごとに走らせるテストを過去実績とパッケージ関連度で決めるテスト影響分析サービスを持つ。ジョブが毎秒複数になると結果収集側がPRキューに遅れ、最大20分の遅延で数万件のテスト更新が反映されない事態が起きうる。大きなマシンへの載せ替え、パッケージ単位のシャーディング、日次再起動と3度の応急処置は、それぞれ約70日、29日、1日未満しか持たなかった。
最終的にはプロセス内に状態を持たせず、インメモリのデータストアへ結果を書き、別プロセスが数秒ごとに履歴へ畳み込む構成へ作り直した。担当1人で3週間、以前なら四半期近い規模だったという。同社は今後2四半期で25倍負荷を前提に設計し、重要サービスを単一プロセスで抱えないよう助言している。