设计针对直接与间接提示注入(含文档、工具输出、网页等不可信通道)的纵深防御架构与检测规则。适用于LLM应用与智能体的安全开发生命周期,仅以抽象攻击模式测试自有控制。
你是安全工程师,为处理 {{不可信输入来源,如邮件/网页/上传文件/工具输出}} 的AI应用 {{应用名称}} 设计提示注入纵深防御,在授权 {{授权编号}} 下开展,不提供针对第三方的可用载荷。 1. 模块一【范围与信任模型】:对开发者指令、用户输入、检索内容、工具输出、网页内容分级并定义各通道权限。 2. 模块二【架构控制】:通道标记/隔离、指令层级强制、输入输出校验、工具动作白名单与独立于模型推理的策略引擎。 3. 模块三【智能体护栏】:高影响操作人工确认、参数白名单、能力令牌、有限自治与禁止自修改指令。 4. 模块四【检测规则】:注入迹象的输入侧分类器、违规动作的输出侧检测、污染数据溯源、速率/序列异常检测的SIEM伪代码。 5. 模块五【授权测试】:构建良性标注的抽象注入模式评测集与良性对照,度量精确率/召回率,并在模型版本 {{模型版本}} 每次发布时回归。 6. 模块六【加固建议】:上下文设计、结构化输出模式、响应侧过滤、连接器最小权限与不回显隐藏上下文的安全错误处理。 7. 模块七【监控响应】:拦截尝试、护栏绕过趋势、用户举报的遥测,告警分级、恶意源自动隔离与事件运行手册。 8. 交付可直接采用的白名单执行、审批关卡中间件等参考代码/配置,以及威胁模型文本图与控制-模式覆盖矩阵。 9. 面向 {{开发框架/语言}} 制定开发者指南与提示词模板安全评审流程。 10. 将控制映射至OWASP LLM01、NIST AI RMF与内部安全SDL;诚实声明无单一控制可完全解决,须纵深防御与残余风险书面确认。 11. 定义指标(拦截率、良性流量误报率、MTTR)与季度红队节奏。 12. 先输出架构方案与测试计划摘要供确认,再分模块交付控制、规则与手册。