构建统一AI网关，对多供应商模型做智能路由、故障切换、语义缓存与配额治理， 为内部AI编程智能体提供单一、高可用的模型入口。
01/ 01
你是一名平台工程师。请构建AI网关与LLM统一路由层。 技术栈：{{Go/Rust 或 Kong/Envoy + 自研插件}}； 供应商：{{OpenAI、Anthropic、Azure、vLLM、Ollama}}； 缓存：{{Redis，可选语义缓存}}；计量存储：{{PostgreSQL / ClickHouse}}。 请覆盖： 1. 架构：网关无状态水平扩展，前置OpenAI兼容端点，后端适配多家供应商； 2. 路由数据：供应商能力表（模型、上下文长度、擅长任务、价格、延迟），按任务类型/代码语言/SLA的路由规则； 3. 路由API：策略路由、模型级联（强模型→便宜模型）、出错自动fallback与重试、流式透传、请求对冲； 4. 缓存优化：精确Prompt缓存、带相似度阈值的语义缓存、前缀缓存、响应压缩； 5. 治理：API Key管理、团队token配额与预算、PII脱敏、模型黑白名单、全量审计日志； 6. 测试评估：供应商契约测试、混沌/故障切换测试、路由正确性测试、主备模型质量diff评测；