AI 智能体失控：RubyGems 事件带来的教训

想象一下周一早上打开系统日志，看到凌晨 3 点 14 分执行了几百个操作。合法的操作，用的是有效登录，执行者却不是人。RubyGems 团队描述的情况差不多就是这样，这也是为什么 AI 智能体成了老板要关心的话题，而不只是程序员的事。

如果你没听说过 RubyGems，没关系。一句话解释：它是存放现成代码模块的仓库，全世界成千上万的系统靠它运转。仓库一咳嗽，很多人就感冒。

到底发生了什么

一个叫 rubyhack.ai 的网站发布了指控，称与 OpenAI 相关的自动化智能体在没有通知、也没有公开披露的情况下，在 RubyGems 的基础设施内部进行了操作。也就是说：自主软件在第三方的关键系统里做事，社区事后才发现。

细节目前还有争议。各方说法不一，我不会假装自己确切知道里面跑了什么。但这个故事的核心不取决于你信哪个版本。核心是这个：一个 AI 智能体拿到了足够的权限去行动，它行动了，而人们是通过留下的痕迹发现的，不是通过通知。

这个模式不是 RubyGems 独有的。它今年就会来到你的公司，如果还没到的话。

为什么这是你的问题，哪怕团队里没有程序员

你很可能已经有智能体在跑了，只是没这么称呼它。

那个读销售邮件、自动回复报价的助手。那个自己更新 CRM 的机器人。那个合同一签就在财务系统里生成账单的自动化。还有团队里某个人装在浏览器上的 AI 扩展，顺手给了整个公司 Google Drive 的访问权限，因为"只是用来整理几个表格而已"。

传统自动化和 AI 智能体之间的差别很大，但很少有人停下来想过。

传统自动化做你吩咐的事。永远一样的动作，永远一样的步骤。坏了，每天以同样的方式坏，你去修就行。

AI 智能体自己决定路径。你给目标，它选手段。于是，取决于它怎么理解你的要求，路径可能包括删除、覆盖、发送、注册或者购买。全都用你的凭证，也就是说：全都顶着你的名字。

AI 智能体不是新员工。它是一张签了名的空白授权书。

经典错误：为了省事直接给管理员权限

这种事我每周都看到。有人把一个 AI 工具接进公司系统，选权限的时候，全勾上。理由呢？不全勾要花工夫。你得搞清楚这工具到底需要哪些权限，测试，修正。全勾只要两秒，而且一次就能跑通。

第一次能跑通，第一百次栽个大跟头。

有人给我讲过一个真实案例（细节做了改动，保护当事公司）：智能体接上销售邮箱，去跟进冷线索。指令是"重新联系那些没回复的人"。而"没回复的人"名单里，包括了一些以很不愉快的方式终止合同的老客户。智能体把所有人都联系了一遍。两天之内。语气还很友好。

没人被黑。没有系统崩溃。工具完全照要求做了，损失的是客户关系，最贵的那一类。

问题不在 AI。问题在于没人划定它能碰到什么的边界。

接入任何智能体前的三个问题

不需要安全委员会，也不需要六位数的咨询费。只需要在点"连接"之前，把三个问题写下来回答清楚。

1. 这个智能体能碰到什么？

不是它会做什么。是它能做什么。如果答案是"整个 Google Workspace 账号"，那你有的不是智能体，是合伙人。

按最小范围切。只开放真正需要的文件夹。只开放真正需要的表。读取权限够用的时候，就只给读取。配置一次是挺烦的，但能省下你之后一个睡不好的夜晚。

2. 痕迹留在哪里？

每个智能体都必须留日志：做了什么，什么时候做的，输入是什么，输出是什么。如果你买的工具不显示这些，那它还没准备好碰你的生意。就这样。

在 RubyGems 这件事上，讨论之所以能发生，靠的正是留下的痕迹。没有记录，大家连抱怨的东西都没有。

3. 哪些动作需要人来确认？

划一条线。所有不可逆的、或者会发到公司外部的动作，都要过人。给客户发邮件、删除记录、付款、发布内容、改价格。智能体准备，人来批准。花五秒钟，消除一整类灾难。

其他的，让它自己跑。读取、分类、整理、总结、填草稿。真正省时间的部分在这里，而且这部分出错也伤不到谁。

"这样不就把效率搞没了吗？"

这个反对意见总会出现，也很合理。如果什么都要我批，自动化还有什么用？

有用，非常有用。只不过收益不在最后那一下点击。收益在点击之前那四十分钟的阅读、查找和打字里。

想想报价这件事。真正的工作不是按"发送"。是打开客户历史、核对标准价、看看有没有在有效期内的折扣、写文案、检查一遍。智能体十五秒就把这些做好交给你。你读一遍，改一行，发出去。

你省下了三十九分钟，而且决定发送的人依然是你。这不是刹车，是方向盘。

还有一个好的副作用：人在复核的时候，能很快发现智能体开始出现规律性错误。完全没人复核的智能体，会悄无声息地错上好几周。

我实际上怎么做

我进一家公司做 AI 自动化的时候，顺序永远是一样的。

• 先梳理流程，不谈工具。如果流程本身是乱的，AI 只会把这份乱高速复制。
• 挑一个痛点，要量大、风险低的。邮件分拣、文档整理、提案初稿。我从来不从付款开始。
• 给智能体开独立账号，权限最小化。绝不用老板的账号。出了问题，我吊销一个凭证，公司其他部分毫无感觉。
• 第一天就把日志打开，第一周天天看。
• 之后才扩大范围，而且一次只走一步。

这里面没什么高深的东西。就是招一个新人时你会有的那种谨慎，不会第一天就把店铺钥匙交出去。对人没人这么干。不知道为什么，对软件大家都这么干。

留下的那个点

RubyGems 这件事会被澄清、被反驳，或者变成一条脚注。这不太重要。重要的是，AI 智能体已经在真实系统里、带着真实权限行动了，而问题已经不再是"值不值得用"，而是"套什么样的绳"。

用 AI 智能体却不设边界，不是胆识。是把决策外包给一个系统，而客户火大打电话过来的时候，它不会接。

如果你想让 AI 在你的生意里干活，又不想放弃控制权，我可以帮你划出这条边界：自动化什么，给什么权限，人在哪里介入。看看我怎么工作，来聊聊。

有人发现凌晨 3 点 14 分执行了几百个操作。登录凭证有效。但操作的不是人。

这就是 RubyGems 团队对 AI 智能体在他们基础设施里运行的描述。而这个问题，不只属于写代码的人。

你的公司里很可能已经有智能体了，只是你没这么叫它。那个自动回报价的机器人。那个自己动 CRM 的自动化。那个拿到整个 Drive 权限的 AI 扩展，因为"只是用来整理表格而已"。

传统自动化只做你吩咐的事。AI 智能体自己选路径。而这条路径可能包括删除、发送或扣款，全都用你的凭证，顶着你的名字。

AI 智能体不是新员工。它是一张签了名的空白授权书。

接上任何一个之前先想清楚：它能碰到什么，日志在哪里，哪些动作必须由人来批准。

如果你想让 AI 在你的生意里干活，又不想放弃控制权，来聊聊。我们一起把这条边界划出来。

#人工智能 #流程自动化 #风险管理 #数字化转型 #信息安全