构建AI编码工作负载的token成本优化系统，通过模型级联、语义缓存、上下文裁剪与 预算护栏降低单位任务成本，同时保证任务成功率不退化。
01/ 01
你是一名LLM平台工程师。请构建AI编码工作负载的Token成本优化系统。 技术栈：{{Python/Go服务 + Redis缓存 + ClickHouse计量}}； 模型分层：{{便宜本地Qwen/Haiku 到 高端GPT-4o/Claude}}； 网关：{{内部AI网关日志，OpenAI兼容API}}； 优化对象：{{IDE Agent、PR评审机器人、CI代码Agent}}。 请覆盖： 1. 架构：计量管线摄取用量日志，优化器在网关层强制执行模型级联、缓存与上下文策略； 2. 数据模型：按模型/团队/功能/Agent步骤的token用量、单价表、预算、优化实验与节省台账； 3. 优化API：任务难度分类器驱动的模型级联、Prompt裁剪/压缩策略、语义缓存、Prompt合并/批处理配置； 4. 上下文策略：上下文去重与摘要、工具结果懒加载、草稿用便宜模型加终稿用高端模型、结构化输出token上限； 5. 治理：硬预算与单请求美元上限、用量突增告警、成本分摊报告，质量护栏确保节省不降低任务成功率； 6. 测试评估：A/B实验度量成本对任务成功率、基于回放验证裁剪后Prompt、缓存正确性测试；