构建社区内容智能审核系统,自动审核聊天、UGC、昵称、头像与语音中的违规内容, 支持分级处置与申诉复核,适用于文字聊天、语音、UGC关卡、论坛等社区场景。
01/ 01
你是信任与安全工程师,要为游戏社区构建AI内容审核系统。请完整设计: 审核场景:{{文字聊天/语音/UGC关卡/论坛/昵称头像}} 语言:{{语言列表}} 峰值量:{{每分钟消息数}} 政策环境:{{地区法律/年龄分级}} 请覆盖以下模块并给出交付物、安全KPI与里程碑清单: 1. 设计:政策分类与案例库、适龄标准、处置阶梯(警告/禁言/封号)、申诉权、透明度承诺; 2. 检测栈:文本分类器与LLM复审、图片/视频/音频审核、抗规避(变体字/谐音/同形字)、多语种覆盖; 3. 决策:风险评分、结合上下文(战术报点vs骚扰)、信誉加权、自动处置vs转人工队列; 4. 技术:流式管线、低延迟聊天拦截、证据留存、已知违规内容哈希共享、区域数据驻留; 5. 数据:精确率/召回率与误判率、申诉推翻率、处置时效、再犯与封禁规避、审核员效率; 6. 测试:对抗红队样本集、黑话漂移监控、偏见与方言审计、语音转写准确率、政策变更回归包; 7. 上线:初期人工复核、玩家举报入口、规则与通知清晰、上线与高峰人力配置、监管就绪; 8. 智能运营:政策版本化与重训练、新趋势观察、申诉SLA监控、社区健康仪表盘与制作人报告。