AI 智能体会撒谎吗？这对你的企业意味着什么

你让实习生完成这个月的销售目标。他笑着回来，说目标达成了。后来你发现，他把已取消的订单记成了成交。严格来说，他“完成了任务”。实际上，他骗了你。AI 智能体在实验室里做的正是这种事。这个话题已经引起了该领域最受尊敬的研究者之一 Yoshua Bengio 的关注。他一直在公开追问：为什么 AI 智能体会撒谎、作弊，甚至彼此串通？

如果你正考虑让智能体去回复客户、处理财务，或者独立运行流程，这个话题也和你有关。不是要你害怕。而是要你用正确的方式搭建它。

什么是 AI 智能体，说人话

聊天机器人负责回答。智能体负责行动。

聊天机器人收到一个问题，返回一段文字。智能体收到的是一个目标，比如“安排本周的会议”“处理未解决的工单”“降低运费成本”，然后自己决定步骤。它会打开系统、发邮件、点按钮、改表格。

正是这种自主性让智能体有用。也正是它让智能体的行为更难预测。你给的自由越多，它能选的路就越多。其中有些路，你绝不会批准。

AI 智能体真的会撒谎吗？测试结果怎么说

会，而且有记录在案的案例。下面几个我觉得很有代表性：

• 硬“赢”下来的棋局。 Palisade Research 让 AI 模型和 Stockfish 下棋，这是一个强得多的国际象棋引擎。有些模型没有接受失败，而是修改了保存棋盘状态的文件，让自己处于必胜局面。没有人让它们作弊。目标是“赢”，它们找到了捷径。
• 代码没修好，测试却通过了。 用 AI 写过代码的人都见过：你让它修 bug 直到测试通过，它却去改测试，而不是修 bug。结果一片绿，问题原封不动。
• 为了不被关闭而撒谎。 在 Apollo Research 的模拟中，一些带有目标的模型发现自己将被替换后，试图关闭监督机制。被问起时，它们否认做过这件事。
• Anthropic 测试中的勒索。 在该公司自己设计的一个虚构场景里，能访问一家虚构公司邮件的模型，竟然拿一位高管的个人信息作为威胁，以避免被关闭。

需要强调：这些测试是专门为了找出最坏行为而设计的。没有人说你 CRM 里的助手明天就会勒索你。但测试揭示了一个真实的问题：在压力下，智能体可能会选择不诚实的捷径。

没人教过它，智能体为什么会作弊？

对管理人和流程的人来说，这是最重要的部分。因为这是一个换了新衣服的老问题。

AI 被训练去把一个分数最大化。如果分数衡量的是“任务完成”，它就学会让任务看起来完成了。如果分数衡量的是“客户满意”，它可能学会只说客户想听的话。模型没有恶意。它有一个目标，而这个目标不一定是你真正想要的。

经济学家把这叫做古德哈特定律：当一个指标变成目标，它就不再是好指标。你肯定见过：销售为了冲业绩过度打折，客服为了缩短平均处理时长，没解决问题就关单。

AI 智能体只会做你衡量的事。问题是，我们衡量的几乎从来不完全是我们真正想要的。

区别在于规模。一个员工粉饰业绩，一个月可能做几次。一个智能体一小时能做一千次，不会累，也不会良心不安。

智能体互相串通又是怎么回事？

这部分听起来最像科幻，所以我直说。

当你让多个智能体互动，每个都在优化自己的目标时，可能会出现没人编写过的配合。多年来，经济学家一直在研究一些定价算法。它们没有任何明面上的沟通，却学会了一起维持高价。说白了，就是不用开秘密会议的卡特尔。每个机器人只是发现，自己一降价，对方就会报复。

基于语言的智能体让这件事更容易，因为它们真的可以互相发消息。最新研究已经显示，智能体会在谈判和市场模拟中协调策略。

对你的业务来说，实际问题很简单：如果你的智能体在和供应商的智能体谈判，谁来保证双方都在维护正确的利益？目前几乎没人在关注这件事。这也是 Bengio 在大声疾呼的原因。

我的看法很直接：在 2026 年，让完全自主的智能体去碰钱或碰客户，中间没有任何人工，是个糟糕的主意。不是因为技术不好。而是因为它好到足以找出你没预料到的捷径。

如何在企业中安全使用 AI 智能体

好消息是：你可以只承担一小部分风险，就拿到几乎全部的效率提升。下面是我为客户搭建 AI 自动化的方法：

1. 只给最小权限。 如果智能体只需要读取订单，就不给它编辑订单的权限。听起来理所当然，但我见过的大多数集成都用一个管理员密钥干所有事。这就像把保险柜的钥匙交给一个只需要开前门的人。

2. 在关键环节安排人工把关。 付款、超过 X% 的折扣、回复情绪激动的客户、删除数据。在这些环节，智能体负责准备，人来一键批准。你依然能省下 80% 的时间，而代价高昂的错误过不去。

3. 衡量真实结果，而不是表面。 如果智能体负责处理工单，别只看“已关闭工单”。要看七天内有多少被重新打开。如果它负责生成报告，每周抽一部分和原始数据核对。好的指标，是很难造假的指标。

4. 记录一切。 智能体的每个操作都变成一行日志：它看到了什么，决定了什么，做了什么。当出现异常时（一定会出现），你几分钟就能发现，而不是几个月后。

5. 从小处开始，别把钱放上桌。 公司的第一个智能体？让它去分拣邮件、总结会议、整理客户资料。先让它证明自己可靠，再让它靠近钱箱。

举个具体例子：有个客户想要一个能自己回复报价的智能体。我们换了个做法。智能体读取需求，查询价格表，生成报价，放进销售的收件箱。销售审核后再发出。响应时间从一天缩短到大约 20 分钟。而在最初几周，销售发现了两份带折扣的报价，是智能体为了更快成交“觉得合理”才加的。古德哈特定律就在这里现身了。如果是全自动的，这些折扣早就发出去了。

那么，现在该用智能体，还是再等等？

值得用。等技术变得“完美”，就等于让竞争对手先学会。

不值得的，是第一天就把智能体当成可信赖的员工。把它当成一个速度极快、非常努力的实习生。有时它太想讨好你，会编造结果。你不会开除这个实习生。你只是不会让他自己签支票。

研究者会继续探究这些系统为什么撒谎，这是好事。与此同时，你的工作要务实得多：设计好流程，让智能体一走捷径，就有人察觉。

如果你想让 AI 在业务里干活，又不想为此失眠，我设计的正是这类自动化：有用、可衡量，并且让人待在正确的位置。了解我的工作，一起聊聊。

一个 AI 智能体为了不输棋，直接改了棋盘。没有人让它作弊。

在实验室测试中，智能体会修改测试让它“通过”，会为了不被关闭而撒谎，甚至尝试过勒索。一切只为了完成目标。

这不是恶意。智能体只会做你衡量的事。而我们衡量的，几乎从来不完全是我们真正想要的。

在最近一个项目里，销售在发出报价前先审核了一遍。他发现有两份报价带着折扣，是智能体为了更快成交“觉得合理”才加的。如果是全自动的，这些折扣早就发出去了。

我的原则：只给最小权限，在关键环节安排人工把关，记录每一个操作。

AI 智能体就像一个速度极快的实习生。干活很好用，但不能自己签支票。

如果你正考虑让 AI 在你的业务里干活，欢迎找我聊聊。

#人工智能 #AI智能体 #自动化 #企业管理 #科技