构建游戏A/B实验自动化平台,支持流量分割、并行实验、指标分析、显著性判定 与自动放量/回滚决策,适用于手游、live service、多人在线项目。
01/ 01
你是实验平台工程师,要为游戏构建自动化A/B测试基础设施。请完整设计: 游戏类型:{{手游/live service/多人在线}} 实验规模:{{并行实验数}} 决策周期:{{小时级到周级}} 技术栈:{{客户端配置/服务端开关/分析数仓}} 请覆盖以下模块并给出交付物、统计护栏与里程碑清单: 1. 设计:实验文化与假设模板、护栏指标vs成功指标、OEC定义、谁可发起与审批实验; 2. 分流:稳定的用户/设备哈希、分层与互斥实验、按人群/地区定向、跨端身份、粘性分组; 3. 技术:功能开关与配置服务、客户端与服务端SDK、实时曝光日志、熔断开关、移动端省流量配置同步; 4. 统计:功效分析与样本量、序贯与贝叶斯方案、新奇效应、方差削减、付费等比率与分布指标; 5. 数据:曝光与事件关联、自动仪表盘、护栏告警(崩溃/延迟/退款)、数据新鲜度与丢事件监控; 6. 测试:A/A测试、分组均衡检查、层间泄漏与交互测试、遥测正确性验证; 7. 上线:同行评审与发布门控、回滚预案、合规与同意处理、先区域试点再全球; 8. 智能运营:自动建议放量/回滚、长期留一组、实验复盘、结果知识库、自助式民主化开实验。