过度信任 AI：五角大楼给你的 SaaS 上的一课

你有没有过这种经历？AI 生成了一份报告，你扫了一眼，觉得挺漂亮，没核对就直接发给了客户。说的就是这个。过度信任 AI 是一种习惯。它从小事开始，不知不觉越变越大。这周出现了一个能想象到的最沉重的例子。

据彭博社报道，五角大楼承认，过度依赖人工智能是导致一枚导弹击中伊朗一所学校的因素之一。我不打算谈地缘政治。那不是我的领域，也不是这篇文章的主题。我关心的是这个错误背后的机制。因为它和我在日常使用 AI 的企业里看到的，完全是同一回事。

发生了什么，简单来说

一个拥有全世界最昂贵资源的机构，有训练有素的人员，有严格的流程。可它还是让一个关键决策过度依赖了系统的判断。在链条的某个环节，机器的建议变成了事实。本该出现的质疑，没有出现。

这种现象有名字。研究人员称之为自动化偏差：人们倾向于接受自动系统给出的结论，即使已经有迹象表明哪里不对。系统对得越多，我们就越放松。我们越放松，错误真正发生时代价就越高。

我希望你记住这一点：如果连管控这么严的地方都会出这种事，那你的公司也会。只是后果小得多。也正因为如此，没人注意到。

为什么过度信任 AI 这么容易

现代 AI 有一个“表达方式”上的问题。它出错时和答对时一样自信。

一个没把握的实习生会说：“我觉得是这样，不过你再确认一下。”而语言模型交给你的是一段干净、排版整齐、语气专业的文字。哪怕其中一半是它编的。

再加上三个非常人性化的因素：

• 赶时间。 AI 本来就是为了省时间。复核看起来像是把省下的时间又还了回去。
• 过往表现好。 前 50 次都对了？第 51 次就直接放行。
• 责任被稀释。 “是系统建议的。”没人觉得这个决定归自己负责。

这些都不是愚蠢。是疲惫、惯性和错误的激励。所以解决办法不是要求大家“多注意一点”。要靠流程。

AI 不会免除任何人的责任。它只是让人更容易忘记，责任到底是谁的。

在真实的 SaaS 里，这会出现在哪里

说点实际的。下面这些情况，有些是我亲眼见过的，有些是和客户聊天时经常听到的。

客服工单分流。 一个管理类 SaaS 用 AI 按紧急程度给工单分类。效果不错。直到有一天，一个大客户用礼貌、平静的语气写道：“我开不了发票。”AI 把它标成了低优先级。工单在队列里躺了两天。客户退订了。

信用或风险分析。 一个收款系统用模型来建议哪些拖欠客户应该被停用。模型是用旧数据训练的，结果停用了一个刚刚重新协商过还款的客户。财务团队是批量审批的。每周 300 个案例，而且“系统已经筛过了”。

自动回复。 一个聊天机器人回答关于套餐和价格的问题。某天它编出了一个根本不存在的折扣。现在网上流传着截图，还有客户要求你兑现承诺。

快速算一笔账。如果你的 AI 准确率是 97%，每月处理 2000 条数据，那就是 60 个错误。每个月都有。问题不在于它会不会出错。而在于这 60 个错误里，哪些代价高，以及有没有人在盯着它们。

AI 什么时候可以自己做决定（什么时候不行）

我的观点很明确：大多数公司把人工审核放错了地方。审核的是便宜的事，放过的却是昂贵的事。

一个简单的区分方法，是对每项任务问两个问题：

1. 这个错误可逆吗？ 营销邮件里标点错了，可逆。账户被停用、退款被拒、错误扣费，就难多了。
2. 谁会感受到这个错误？ 如果只影响你自己、只在内部，可以多容忍一些。如果影响到客户，代价立刻上升。

错误可逆且只在内部？让 AI 自己跑，抽样检查就行。错误难以撤回或会影响客户？AI 给建议，人来做决定。就这么简单。

五角大楼处在最糟糕的那个象限：错误不可逆，而且有真实的受害者。你的 SaaS 大概永远不会走到那一步。但“不可逆且影响客户”这个象限在任何生意里都存在。而且它往往正是最先被自动化的地方，因为那里的量最大。

如何在你的 SaaS 中使用 AI 而不失去控制

我不是让你放弃 AI。我每天都在做这件事，而且我认为忽视 AI 的公司会被甩在后面。关键是把使用方式设计好。在实践中，我通常会这样搭建：

让 AI 把犹豫说出来。 不要只让它输出“紧急”或“不紧急”，还要让它给出置信度。低于某个阈值的，全部交给人工审核。这样既减少了审核量，又能聚焦在真正重要的地方。

在代价高的环节设置刹车。 停用账户、退款、商业承诺、更换套餐。在这些环节，AI 把一切准备好，由人来按下按钮。只需要 20 秒。却能省掉几周的麻烦。

即使一切正常，也要抽样检查。 每周随机挑 20 个案例核对一下。这是唯一能在客户发现之前，察觉质量下降的办法。

记录是谁批准的。 看起来像官僚主义。其实不是。当每个决定旁边都写着一个名字，人们就会重新认真阅读自己在批准什么。这招出奇地有效。

限制聊天机器人能承诺什么。 价格、期限、折扣和退订政策，都应该来自固定的数据源，而不是模型的“创造力”。有创意的 AI 很适合写帖子草稿。至于价目表，最好用最无聊的那个 AI。

什么都不做的代价

我经常听到一句话：“可到目前为止也没出过问题啊。”这恰恰是自动化偏差危险的地方。它不会发出信号。系统一直正常，正常，正常。等它出错的那天，正好没人在看。因为所有人都已经习惯了不需要看。

你不需要一个 AI 伦理委员会，也不需要六个月的咨询项目。你需要的是在开启自动化之前问几个问题：它会在哪里出错？这个错误代价多大？谁来核对？一个小时的会议就够了。

如果你的产品或运营里已经在跑 AI，却说不清这些刹车点在哪里，那就值得停下来梳理一下。这正是我为那些想要自动化、又不想被系统绑架的企业所做的工作。想了解我的工作方式，来看看我是谁。

五角大楼承认，过度信任 AI 是导致伊朗一所学校遭到袭击的因素之一。

我不谈地缘政治。我关心的是背后的机制，因为我每天在企业里看到的也是同一回事：AI 连续对了 50 次，到第 51 次就没人再检查了。

AI 出错时和答对时一样自信。而“是系统建议的”并不能免除任何人的责任。

如果它每月处理 2000 条数据，准确率 97%，那就是 60 个错误。真正的问题是：哪些错误代价高？谁在盯着？

我的原则是：错误可逆且只影响内部，就让 AI 自己跑。错误难以撤回或会影响客户，就让 AI 给建议，由人来做决定。

我写了一篇文章，讲如何在你的 SaaS 里设置这些“刹车点”，同时不丢掉自动化带来的收益。链接在评论区。

#人工智能 #SaaS #自动化 #风险管理 #科技