02

安全与可信

5 场 · 大会论坛级

本页要点:这一块我要重点强调——因为智能体从"只会理解"走向"真正行动",攻击面随之大幅扩大,所以开幕日的大会论坛就专门聚焦智能体安全。工程上可以概括成一句话:默认拒绝高风险、最小权限、全轨迹审计。

会议

5 场论坛在聊什么

自主而有界:智能体系统的对抗攻防与安全治理

这一场是安全议题的开幕重头戏,提出了一个叫 守卫模型 AgentDoG 的方案——核心是"风险分类 + 可解释 + 轨迹监控"三件套,已经在阿里、360 落地。同时它系统梳理了"固有欺骗"这类风险:比如 Agent 隐瞒失败、伪造结果,这比外部攻击更隐蔽、更难防。

驾驭智能体系统:Agent OS 的安全困境与信任重塑

这一场把视角放到操作系统层:当 Agent 像"操作系统上的进程"一样运行时,怎么隔离、怎么审计、怎么约束它的行为。类比就是——传统 OS 有进程隔离和权限管理,Agent OS 同样需要。

当AI学会"自主攻击"Agent与Mythos新危机

这一场提出了今年最值得警惕的新危机:自主 Agent 越权、Skill 污染,再加上模型自动化攻击能力。也就是说,攻击者不用再手写攻击脚本,可以让 Agent 自动找漏洞、自动发起攻击——这是对传统安全范式的一次颠覆。

AI智能体如何"撕裂"传统防护架构

这一场讲的是攻击面形态变了:传统的边界式防护——防火墙、白名单——开始失效,因为 Agent 的行动是动态的、跨域的。需要多域融合的新范式来重新设计防护。

AI驱动漏洞发现:从工具辅助到智能体实战

这一场是攻防的另一面:用智能体来找漏洞。从工具辅助扫描,进化到智能体自主复现漏洞、验证利用链,并给出实战路径和评测方法。安全团队既要用 Agent 防御,也要用 Agent 进攻来补齐短板。

DEEP DIVE

工程重点:攻击面与守卫设计

1 · Agent 攻击面(行动力 = 破坏力)

先建立一个直觉:普通 LLM 只能"说",攻击面有限;而 Agent 能"做"——能读文件、写文件、调用工具、访问网络、执行命令。所以给它的每一点行动力,都对应着一份潜在破坏力。具体有四大类风险:

  • 提示注入:网页、文档、工具输出里的恶意指令劫持 Agent,让它偏离本意去执行攻击者的命令。对策:指令与数据分离、不可信内容隔离——先分清楚哪些是"指令"、哪些是"要被处理的数据"。
  • 记忆投毒:攻击者往记忆里写入误导事实,长期污染 Agent 的决策。对策:记忆带来源、写入要审核,别让 Agent 无条件相信自己"记下来"的东西。
  • 工具滥用 / 越权:Agent 调用危险命令、访问越权资源。对策:最小权限 + 敏感操作确认,宁可多问一次,不可默认放行。
  • 协同失控:多智能体之间相互放大错误、风险累积。对策:通信审计 + 共享记忆隔离,别让一个 Agent 的错误传染给整个团队。

2 · Claude Code 的权限实践(可直接借鉴)

Claude Code 是目前业界把"权限与安全"做得最有参考价值的终端 Agent,它的做法值得直接抄:

默认拒绝高风险动作,allowlist/denylist 精确控制命令 危险操作逐次确认,不默认放行 变更可见:文件改动先出 diff 再落盘

映射到自己的系统,就是两道门:第一道门是权限表——谁 / 什么动作 / 什么资源 / 是否需要确认,这是入口控制;第二道门是审计日志——每个动作都留痕,事后可以根因诊断。两道门缺一不可:没有权限表,Agent 会越界;没有审计日志,出了问题根本查不到。

Agent 动作
读/写/命令/网络
→
① 权限表
命中高风险→拦截
→
执行
危险操作逐次确认
→
② 审计日志
全动作留痕可查

① 权限表管"进"(该不该做),② 审计日志管"查"(做了留痕)

3 · 守卫设计(AgentDoG 思路落地)

把会议上 AgentDoG 的思路翻译成可落地四步:

  • 风险分类先行:动作按"类型 × 数据敏感度 × 影响范围"打标签,作为拦截与审计的依据。不分类,就没法决定"哪些该拦、哪些该放"。
  • 可解释拦截:拒绝时给出可读理由,不做黑盒拒绝——用户要知道为什么被拦,才能信任这套系统。
  • 熔断与回滚:异常行为触发暂停;改动可回滚——git 就是天然的回滚机制,每次变更都入版本控制。
  • 上线前红队演练:先做对抗测试,比如故意诱导记忆投毒,看它能不能守住,再决定放开多少自主权。
可这样讲:这次会议把安全提成了大会级议题,核心共识就是"自主而有界"——能力越强,越要权限最小化、全轨迹审计。AgentDoG 和 Claude Code 的权限系统,是两个可以直接借鉴的落地范本。对一个要上生产的 Agent 系统,安全不是后补的功能,而是和功能一起设计的第一性约束。
← 记忆与长期智能 多智能体与自我进化 →