返回博客
AI 智能体安全自动化

AI 智能体自动修复代码:藏在背后的风险

2026年9月02日·6 分钟阅读·Diego Horvatti

想象一下,你请人来换门锁。对方换好了,测试了,能用。但过程中他把后窗留着没锁。也没人去看那扇窗,因为需求说的是门。Snowflake 发生的事差不多就是这样。这是一家年营收数十亿的数据公司:一个 AI 智能体修复了一个安全漏洞,同时也开出了一条入侵公司内部 Jira 的路。

扎心的细节是,这个修复出自一个好工具,一个受人尊敬、被很多正经团队使用的工具。GitHub 的 Copilot Autofix 会为代码中发现的漏洞自动给出补丁建议。有人粗略看了一遍,批准,合并。团队以为搞定了,继续往前走。后来是 Wiz 的研究人员发现了这个洞。

到底哪里出了错

目标是仓库里的一个自动化脚本,就是那种有人开 pull request 或在 issue 下评论时自己跑起来的例行程序。这类代码几乎没人认真读。它没有界面,没有客户在看,只干那些把东西串起来的琐碎活。

原本的漏洞是已知的:外部来的数据直接进了脚本。AI 生成的修复处理了告警里指出的那个具体情况。看着很漂亮。可脚本仍然从另一条路径接收不可信输入,而这条路径能拿到自动化跟 Jira 通信用的凭据。结果就是:谁懂得在一个公开的地方写下合适的评论,就能让 Snowflake 的机器人在内部替他干活。

注意这个机制,因为它会在跟编程毫不相干的场景里重演:

  • AI 准确地回答了被提出的那个问题。
  • 那个问题问得太窄了。
  • 没人去检查周边,因为告警已经变绿了。

绿色告警是这个故事里沉默的反派。一个悬而未决的问题会让人不舒服,会开会,会有人追。一个被标记为已解决的问题,则从此永远消失在视野里。

为什么不写代码的人也该关心

你可能觉得这是工程团队的事。不是。把「CI/CD 脚本」换成今天在你业务里跑着的任何一个自动化。

回复客户邮件的智能体。从 WhatsApp 抓订单丢进 ERP 的机器人。读发票并录入财务的流程。筛简历、把候选人往下一环节推的 AI。它们的结构完全一样:接收外部数据,保存着某种凭据,在没人盯着的情况下行动。

我见过一个规模小得多、长相一样的案例。一个客服自动化,会根据网站表单创建工单。有人发现,可以在「主题」字段里写一段文本,AI 会把它当成指令而不是内容。工单变成了一次对客户数据库的查询,答案跟着确认邮件回到了那个人手里。没有人入侵任何东西。门从设计上就是开着的,而 AI 太有礼貌,不懂得怀疑。

自动化不是很少犯错。它是犯得又快又安静。

盲区在于 AI 审查 AI

这里说说我这篇文章里最强的观点:2026 年正在扩散的最危险模式,是 AI 批准 AI 的工作。

这个流程已经很常见了。一个智能体写代码。另一个智能体审查。第三个跑第一个写的测试。纸面上看着很严谨。实际上,这三个共享同一个盲区,因为它们用同一套框架读了这个问题。这就像让三个人核对账单的合计,而错误出在菜单上。

还有一层心理效应。当补丁的说明写得好,解释清楚,理由充分,人反而审得更少。一个 AI 提的 pull request 看起来比实习生提的更可信,哪怕它其实更糟。靠好文笔换来的信任,是今天最廉价的东西。

我不是说要扔掉这些工具。我每天都在用 AI 智能体,它们实实在在帮我省下不少小时。我说的是,审查必须来自跟产生这个改动不同的角度。

怎么用 AI 智能体才不会碰上这种意外

有效的做法不复杂,只是麻烦。而麻烦恰恰是大家会跳过的。

把能行动的和只能说话的分开。 如果一个智能体读客户的请求,它就不该拥有能在系统里创建用户的那份凭据。两个账号,两个级别。这一条能解决现存事故的一半。

给最小权限,而不是最省事的权限。 Snowflake 那个自动化对 Jira 有很宽的访问权,因为当初这样最方便。几乎每一份过大的凭据,都始于某个忙碌下午的省时决定。

永远把外部输入当成可疑的。 用户评论、表单、邮件、WhatsApp 消息、文件名。这些都不是指令。它们是内容。如果你的自动化不做这个区分,它就会听从第一个出现的、彬彬有礼的陌生人。

要的是上下文,不只是修复。 当一个智能体提出改动时,有用的问题不是「这能解决吗」。而是「还有什么会碰到这个文件,以及这个改动现在允许了什么之前不被允许的事」。

在涉及钱和敏感数据的节点放一个人。 不是所有环节。是转账、供应商登记、群发、删除。其余的可以自己跑。

回头看那些已经变绿的东西。 每个季度一次,把被自动化标记为已解决的东西翻出来,重新看一遍。这是最便宜的审计,而没人做。

怀疑要有合适的分寸

这些都不意味着恐惧。意味着校准。

Snowflake 不是一家马虎的公司。有安全团队,有流程,有好工具。即便如此,一个自动补丁还是造出了一扇新门。那里会发生,你那个 20 人的团队也会发生,区别只是那边有人在事情变成坏新闻之前发现了。

看待 AI 智能体的健康方式,是把它当成一个新员工:快,不知疲倦,而且极其字面。他会准时、不抱怨地照你说的做。正因如此,谨慎必须放在需求描述和权限边界上,而不是寄望于他会用常识。常识是他唯一没有的东西。

做得好的自动化,不是能独自做更多事的那种。是知道该在哪里停下来叫人的那种。

如果你正在业务里搭建 AI 自动化,想找个人在它变成麻烦之前先看看整体设计,了解一下我的工作方式。半小时的沟通,通常能省掉后面不少头疼。

LinkedIn 摘要

Snowflake 的一个 AI 智能体修复了一个安全漏洞,同一次提交里,却把入侵公司内部 Jira 的门打开了。

补丁本身是对的。问题是问题问得太窄了。

告警变绿了,没人去看周边,已解决的问题从此彻底消失在视野里。

这不只是工程团队的事。把「CI/CD 脚本」换成那个读你 WhatsApp、把订单丢进 ERP 的机器人。结构一模一样:接收外部数据,保存着凭据,无人看管地行动。

2026 年最危险的模式,是 AI 审批 AI 的工作。三个智能体一起核对账单金额,可错误在菜单上。

AI 智能体就像新来的员工,快,而且极其字面。常识是它唯一没有的东西,所以谨慎必须放在需求描述和权限边界上。

如果你正在业务里搭建 AI 自动化,值得在它变成麻烦之前先看看整体设计。来聊聊。

#人工智能 #自动化 #信息安全 #科技 #商业