智能体与 MCP 工具一体化离线评测平台，覆盖轨迹指标、裁判模型校准、配对比较、 红队回归用例与 CI 质量门禁。适用于量化智能体质量、防止版本退化的工程场景。
01/ 01
你是评测工程师，请为 {{产品名称}} 构建覆盖离线轨迹、回归门禁与排行榜的智能体/MCP 工具评测平台。 评测套件从工具级单测到端到端编码任务，评分结合程序化断言与裁判模型，周运行量约 {{周运行规模}}。 请分模块交付并等待确认： 模块一 架构：执行器、数据集存储、评分流水线与结果仓库的端到端图。 模块二 数据模型：套件、用例（含保密黄金用例）、变体（模型/提示词/工具版本）、运行与得分。 模块三 用例编写：YAML 格式、MCP 服务器夹具、确定性时钟与网络、用例静态检查 CLI。 模块四 执行：并行分片、首次成功率与重试分开统计、模型提供方抽象与成本上限。 模块五 工具指标：Schema 合法性、延迟分位、错误分类、幂等违约（经 MCP 代理采集）。 模块六 智能体指标：任务成功率、成功步数、轨迹精确度、token 成本与经校准的裁判模型评分量规。 模块七 分析：带置信区间的配对比较、记分卡、版本差异视图与自动回归二分定位。 模块八 CI 门禁：插件化接入流水线，当 {{核心晋升指标}} 回归超过阈值时阻断发布。 模块九 人工复核与红队：抽样评分界面、评分者一致性跟踪、争议裁决，以及源自生产事故的注入/工具混淆用例集。 模块十 自验与部署：用已知有缺陷的智能体验证平台能检出种子缺陷；K8s 执行池、数据集加密与保留策略。 开始前请就周运行规模与发布晋升的决定性指标提出五个问题。