AI 智能体：当自动修复变成后门

机器人在代码里发现了问题，给出了修复建议，有人点了"接受"，然后这个修复打开的口子比原来的问题还大。这不是假设。这就发生在 Snowflake 身上，一家市值数十亿、有真正安全团队的数据公司。Wiz 的研究人员展示了：一个由 AI 生成的自动修复建议，在公司的自动化流程里被接受之后，变成了通往内部 Jira 的通道。这就是 AI 智能体的盲点，几乎没人在看：我们会审查 AI 从零写出来的东西，却盲目相信它"修好"的东西。

如果你是企业主，觉得这是程序员的话题，先别走。Jira 是公司记录什么坏了、什么要上线、谁抱怨了什么的地方。它是运营的航行日志。一个外人读完那些内容，对你业务的了解会超过你团队里一半的人。

到底发生了什么

用人话说一遍。GitHub 上有个功能叫 autofix，它用 AI 读取安全警报并提出补丁。纸面上是个绝妙的主意：机器发现，机器修复，你批准。问题出在"批准"之后。

在这个案例里，AI 生成的修复被并入了每次有人改动代码就会运行的自动流程。这个流程有很宽的权限，也能拿到可以进入其他系统的凭证。一位研究人员成功操纵了这个过程，最后抵达了公司的 Jira。

注意这个顺序，它是整个故事的核心：

• AI 生成了代码。
• 代码经过了一次审查，实际上只是盖了个章。
• 这段代码在一个握有强大密钥的环境里运行。
• 没有人问过"如果这个修复是错的，它能碰到什么？"。

每一步单独看都很合理。合在一起，就成了问题。而且 Snowflake 把难的部分做对了：收到报告，快速修复，公开披露。大多数公司连发现都做不到。

为什么"修复"比"创造"更危险

当你让 AI 写一个新功能时，你的大脑会打开怀疑模式。你会读、会测、会质疑。当它修复一个自己指出的 bug 时，奇怪的事情发生了：警报带着权威的外表出现。"发现漏洞。建议修复。"看起来像杀毒软件。你就接受了。

可是模型并不理解你的业务。它理解的是代码模式。它见过一万个类似的修复，然后产出了第一万零一个。它完全不知道那个特定文件是不是以管理员权限运行，也不知道那个令牌能不能打开客户数据库。

AI 犯错不是因为笨。它犯错是因为不知道自己踩在哪里。

2025 和 2026 年这件事更严重了，原因很简单：量暴涨了。一个原本每周审查二十个改动的团队，现在收到两百个。平均质量甚至提高了。而每个改动分到的人类注意力暴跌。这笔账没人算过。

这跟你的公司有什么关系

你大概没有每天跑一万次的 CI/CD。但只要你在业务的任何地方用了 AI 智能体，模式是一模一样的。我在实践中见过的几种情况：

回复客户的智能体。 你把机器人接到了订单系统，让它查状态。很好。它是用什么权限查的？如果它能读任何一个身份证号的订单，一个聪明的客户聊二十分钟就会发现。

动表格或 ERP 的自动化。 智能体"为了方便"拿到了写入权限。某天它误解了一个请求，删掉了一列。它没有任何恶意，就是个错误。但损失是真实的。

和邮箱的集成。 智能体读收件箱来分拣消息。世界上任何人都能给你发邮件。也就是说：世界上任何人都能把文字塞进你的智能体里。如果它有回复和发送附件的权限，你等于刚给一个陌生人递了个扩音器。

共同点不是 AI。是权限。AI 只是放大了一个配置错误的权限变成问题的速度。

启用任何智能体之前的三个问题

这不是企业安全检查清单。这是我交付任何自动化时做的最低限度，花十五分钟。

1. 如果这个智能体失控，最坏的破坏是什么？ 把答案写下来。真的写。如果答案是"发错一封邮件"，放轻松。如果是"删掉客户数据库"或者"转账"，那你在继续之前需要一个刹车。

2. 它真的需要写入，还是只要读取？ 我在中小企业见到的智能体里，九成只需要读取权限。查询、总结、提醒。写的是人，看过之后再写。把写入换成读取，能消除大部分风险，而价值几乎不减。

3. 它出错的时候，你会知道吗？ 不是"如果"。是"当"。如果智能体出错而没人收到警报，你会从客户的抱怨里发现。或者更糟，根本不会发现。

人工审批者得是真的人

说个不受欢迎的观点：带人工盖章的自动审查比完全不审查更糟。因为它制造了安全感，却没有安全。

如果你的流程是"AI 建议，老王批准"，而老王一天批四十件、每件三分钟，那你没有审批。你有的是表演。表演的代价很高：出事的那一刻，所有人都会指向老王，而他其实从来没有机会好好审查。

正确的做法是把需要人眼的和不需要的分开。改个页脚的文案？自动通过，接着走。任何碰到凭证、权限、支付或客户数据的？停在队列里，等一个有时间思考的人。队列里的东西越少，每一件分到的注意力就越多。

实际操作中，这通常就是自动化里两三行的一条简单规则。不是六个月的项目。

一点安慰：被抓到的，正是在看的那些

Snowflake 这个故事里有个细节，我觉得是最重要的，却几乎没人提。这个漏洞之所以浮出水面，是因为存在一个让外部研究人员报告缺陷的项目。有人去找了，找到了，通知了。公司修复了，并允许公开。

也就是说：出现在这类新闻里的公司，通常是做得比平均水平更多的，不是更少的。那些从不出现的，并不是更安全。只是更少被人观察。

这应该同时让你安心和不安。安心，是因为在这件事上犯错很正常，没人已经解决了它。不安，是因为如果 Snowflake 带着全套装备都漏了，那你在三个下午里赶出来的自动化，大概率有更糟的东西。而且没人在找。

我不是说要关掉你的智能体。我每天都在用 AI 做自动化，也不会走回头路。收益太大了。我说的是，别再把"AI 建议的"当成质量保证。那是一个建议。一个很好的建议，来自一个不知道自己踩在哪里的东西。

如果你的业务里已经跑着智能体，却从没问过上面那三个问题，值得花半小时聊一聊，把暴露的地方理清楚。通常比看上去更好修，而且现在修比以后修便宜得多。告诉我你自动化了什么，我们一起看看。

Snowflake 出了安全漏洞，起因是一个 AI 建议的修复，有人没仔细看就批准了。

最打动我的细节：我们会怀疑 AI 从零写出来的东西，却几乎闭着眼睛接受它"修好"的东西。漏洞警报看起来很权威，而权威的外表会关掉人的批判力。

问题从来不是 AI。是它拿到的权限。

在启用任何智能体之前，我会问三个问题：如果它失控，最坏的破坏是什么？它真的需要写入，还是只要读取？它出错的时候，有人会知道吗？

带人工盖章的自动审查比完全不审查更糟，因为它制造了安全感，却没有安全。

如果你的业务里已经跑着智能体，却从没问过这些问题，告诉我你自动化了什么。我们一起看看。

#AI #AI智能体 #自动化 #信息安全 #科技