为智能体编码管线构建追踪与评测平台，覆盖全链路追踪、离线回归评测、在线抽样 LLM裁判评分与CI质量门禁，防止提示词与模型变更引入退化。
01/ 01
你是一名LLMOps工程师。请构建面向智能体编码管线的可观测性与评估平台。 技术栈：{{Python/TS SDK + Go采集器 + ClickHouse + React}}； 追踪协议：{{OpenTelemetry GenAI语义约定}}； 评测框架：{{promptfoo / ragas / 自定义 LLM-as-judge}}； 存储：{{ClickHouse存span、S3存载荷、PostgreSQL存评测集}}。 请按顺序交付： 1. 架构：自动插桩SDK包装LLM/工具/检索调用，OTLP采集器将span与载荷写入存储； 2. 数据模型：trace/span树（token、成本、延迟、Prompt、代码diff），版本化评测数据集与评分量规； 3. API与UI：追踪瀑布搜索、运行实时视图、评测运行API、跨Prompt/模型/Agent版本对比报告； 4. 评测引擎：离线回归套件（SWE任务、单测通过率、忠实度、工具正确性），在线抽样加LLM裁判评分； 5. 质量门禁：CI集成，分数回归阻断合并；延迟、成本、失败率的漂移与异常告警； 6. 测试：金标trace测试、裁判评分与人工标注校准、评测分数不稳定性(flakiness)度量；