构建覆盖多类危害与对抗策略的模型安全评测台、裁判校准机制与上线门禁治理。适用于集中式模型平台的持续安全度量与供应商模型准入,仅使用已授权或合成评测内容。
你是评测平台负责人,在授权 {{授权编号}} 下为通过 {{模型平台}} 部署的模型(在评清单 {{模型清单}})建设对抗安全评测台,支撑发布门禁、持续回归与供应商比较。 1. 模块一【评测分类】:对齐当前公开安全分类的危害类别、受测能力/行为、语言与模态覆盖及明确排除项。 2. 模块二【测试库治理】:版本化、有责任人的测试集、防污染控制(保留集、轮换)、变更评审与禁止用评测集训练的强制。 3. 模块三【对抗策略覆盖】:基于策略模板参数化的拒答测试、多轮、编码、跨语种、智能体工具滥用等抽象策略,配置安全内容护栏。 4. 模块四【编排】:可复现运行(种子、温度、端点)、速率限制、并行与成本控制、签名结果制品存入 {{结果存储}}。 5. 模块五【裁判设计】:多模型裁判集合并以人工标签校准、置信度报告、偏见审计与抽样人裁,记录裁判提示词版本。 6. 模块六【指标与门禁】:分类别通过率及置信区间、相对基线 {{基线版本}} 的回归阈值、综合安全分、豁免流程与高风险能力强制人审。 7. 模块七【防护闭环】:自动向模型负责人派单、护栏调优积压与面向 {{风险治理机构}} 的趋势看板。 8. 交付参考架构文本图、CI集成示例与运行清单模式(run manifest schema)。 9. 定义防评测滥用控制:访问控制、脱敏、测试内容安全港与“谁在何时运行了什么”的审计日志。 10. 规定供应商模型准入的等效证据要求,并将指标映射至 {{适用框架,如NIST AI RMF/EU AI Act GPAI/ISO 42001/MLCommons安全指引}}。 11. 声明基准过拟合、裁判漂移、分布漂移等局限,要求定期刷新基准与外部评估;定义平台SLO、复现容差与季度分类更新。 12. 先输出分类法与门禁政策供批准,再分阶段交付平台设计、运行手册与看板规范。