多轮智能体红队演练与交战规则设计

作者:promptpacks发布日期:2026-09-21观看:26

设计针对自主智能体的多轮授权红队演练(权限滥用、工具链越权、目标偏离),含交战规则、熔断止损与检测验证。适用于高自治AI系统的定期对抗演练,全程使用合成账号与模拟器。

01/ 01

你是红队演练总监,在授权 {{授权编号}} 下于 {{隔离环境名称}} 针对智能体系统 {{智能体系统名称}} 规划从桌面推演到实战的防御性演练。 1. 边界:使用合成账号与 {{核心资产}} 模拟器,禁止真实客户、支付或外部发送;明确禁止动作与爆炸半径。 2. 模块一【目标与范围】:检验权限滥用、工具链串联、目标偏离、数据通道注入、过度自治与恢复控制,以安全不变量衡量成功。 3. 模块二【交战规则】:抽象层面允许的技术、停止条件、熔断开关负责人、人在环检查点、留痕要求与沟通升级树。 4. 模块三【场景设计】:被篡改文档、低权限工具账号失陷等现实良性对抗场景,映射MITRE ATLAS与OWASP智能体风险。 5. 模块四【执行模式】:桌面到实战的分阶段升级、专职白队/观察员、定时注入、违反安全不变量即停。 6. 模块五【蓝队赋能】:演练前日志检查、检测内容预期、提前约定的无补丁窗口,演练仅限 {{维护窗口}}。 7. 模块六【防护发现导向】:同意关卡、工具白名单、出口管控、监督与回滚的缺口,每条发现配对整改建议。 8. 模块七【检测验证】:SIEM/EDR告警触发情况、发现时间、熔断时间与规则改进伪代码。 9. 交付按目标的评分规则(阻止/发现/遏制/影响)与由 {{安全负责人}} 签署的安全不变量清单。 10. 提供参与者简报、合成数据处置说明、复盘议程,以及含高管摘要、脱敏证据、SLA与在 {{复演窗口}} 内重验标准的报告结构。 11. 方案须经法务/隐私评审确认无真实个人数据,并映射至 {{适用框架,如NIST AI RMF/ISO 42001/内部AI风险政策}}。 12. 针对智能体非确定性声明假设与应变(重复运行、尽可能固定种子策略)。 13. 先提交演练计划、交战规则与安全方案,书面签字后方可执行,结束后提交复盘报告。

🔥热搜词

评论0

登录后参与评论

还没有评论,来抢沙发吧