AWSとカリフォルニア大学バークレー校のHydroプロジェクトは10月23日、エージェント実行基盤InfinityをApache 2.0の研究リリースとして公開した。エージェントがツールを呼ぶと、そのスライスはモデルの応答を保存して呼び出しを送り、そこで終了する。結果や利用者の入力は共有キューに届き、届いた時点で履歴を読み直して次のスライスが始まる。
ビルドや承認のように数十分から数日待つ処理では、待っている間のメモリが効いてくる。公開された計測では、1スレッドのAMD EPYC 9R14上で8万エージェント、合計320万回の補完を走らせ、アイドル時は1エージェントあたり約100KBだった。この割合ならRaspberry Pi 5の8GBに約7万5000エージェントが収まる、とAWSは説明している。待機中のエージェントにはタスクもスタックも接続も残さない。
ローカルの常駐プロセスに加え、呼び出しごとに終了するstep modeがある。AWS上の参照構成では、SQSのFIFOキューを入力にし、Lambdaが1ステップを処理して終了する。履歴はAurora DSQL、重複排除の状態はDynamoDBに置く。モデルAPIには非同期イベント用の型がないため、実行系がreceive_event__injectedという合成のツール呼び出しを履歴へ入れ、子エージェントからの報告も同じ経路で親に届ける。イベントの真正性や、長い会話の木をどう圧縮するかは未解決だとAWSは書いている。導入するなら、ツールを待たずに結果をキューへ返す形へ直せるかを先に見る。