AWSは2026年03月31日、Amazon Bedrock AgentCore Evaluationsの詳細ガイドを公開し、このサービスを開発中とproductionの両方でagent品質を測定するmanaged systemとして打ち出した。要点は、agent reliabilityを少数の試行チャットで感覚的に判断するのではなく、明示的なmetricsとregression baselineで継続的に観測すべきだという考え方だ。

AWSは評価をsession、trace、tool levelに分解し、どこで失敗が起きたのかを切り分けられるようにしている。tool-heavy agentは、誤ったtoolを選ぶこともあれば、parameterを誤ることもあり、tool outputの統合に失敗することもある。技術的には正しいtool callでも、最終的なuser goalを満たせない場合もある。サービスにはTool Selection AccuracyやGoal Success Rateのようなbuilt-in evaluatorsが含まれ、custom evaluatorsとAWS Lambdaベースのcode-based evaluatorsも利用できる。

注目すべきなのは、LLM-as-a-judge scoringとground truth referenceを組み合わせている点だ。AWSによれば、expected response、expected trajectory、assertionsを与えることで、agentが正しいtoolを正しい順序で呼び、意図した outcome を達成したかを検証できる。また、特定ケースの調査向けon-demand evaluationと、本番挙動を継続監視するonline evaluationの両方を備え、結果はAgentCore Observability in CloudWatchへ流れる。

このサービスはagent評価をad hocなprompt確認から、再現可能なmeasurementへ変える。
ground-truth inputはtool-using agentsのregression testingを具体化する。
CloudWatch integrationにより、agent qualityはlatencyやcostと並ぶ運用シグナルになる。

より大きな意味では、agent platformがsoftware engineering stack全体へ拡張していることを示す。agent構築はもはやmodel選定とtool接続だけでは終わらず、instrumentation、scoring、monitoring、release gateまで必要になる。AWSはruntime telemetryに近い場所で、その全lifecycleを押さえようとしている。

#agent-evaluation

AWS、AgentCore Evaluations を agent QA と regression control の管理型 workflow に