AI 的盲区：围棋大师给我们上的一课

你有没有直接批准过 AI 交给你的东西，连看都没看？一段文案，一张表格，一条给客户的回复。我有过。而且大多数时候都没出问题，这恰恰就是问题所在。因为当 AI 的盲区出现时，它们不会以明显错误的样子出现。它们出现的样子是：一个漂亮、自信、而且错误的答案。

今年七月，韩国棋手申真谞，世界排名第一，在让两子的对局中战胜了 KataGo，那是现存最强的围棋程序之一。给不太关注的人解释一下：从 2016 年 AlphaGo 击败李世石之后，局面就倒过来了。围棋上机器赢人类。这不是可以讨论的事，这是既成事实。所以这条新闻传遍了全世界。

而我觉得，它讲的更多是关于你的生意，而不是关于棋盘。

比分不是有意思的部分

在围棋里，让两子是很大的差距。比较谨慎的读者马上会说：“那他其实没有真的赢。”说得公道。让子这件事存在，正是因为程序比任何活着的人都强。

但请注意这在实践中意味着什么。有人测量了人和机器之间的距离，给它标上了一个数字，并且找到了人类还能取胜的位置。这是很有价值的信息。它不同于“AI 更厉害”，也不同于“AI 是骗局”。它是一张地图。

我接触的大多数公司都没有这张地图。要么觉得 AI 什么都能解决，要么觉得 AI 什么都解决不了。这两种立场都要花钱买单。

机器强，不代表机器没有窟窿

有一个 2023 年的案例我很喜欢讲，因为它太具体了，没法忽略。

FAR AI 的研究人员专门训练了一个程序，目的只是找 KataGo 的毛病。不是为了下好棋。是为了找毛病。他们发现了一个模式：如果你摆出一大片松散的棋子，再用特定的方式从外面把它围住，程序就是看不见这个威胁。它会一直把局面判断为安全，直到它其实已经输了的那一刻。

接着是让人后背发凉的部分。一位叫 Kellin Pelrine 的业余棋手学会了这套下法，亲手用了出来。他在对阵超人水平的机器时赢了 15 局中的 14 局。对局过程中没有电脑帮忙。一个业余选手打败了没人能打败的东西。

程序并没有变弱。在正常对局里它依然比所有人都强。只是存在一扇侧门，而没有人往那边看过，因为所有人都忙着赞叹它的蛮力。

平均水平很强的系统，在某个具体情况下可能是灾难性的。而出现在客户面前的，永远是那个具体情况。

这在你公司里是怎么发生的

翻译成你的日常，不谈棋盘。

你放一个 AI 去回复网站上的在线咨询。95% 的问题它都答得不错。剩下 5%，它编出一个不存在的交付期限，或者承诺一个你并不提供的付款条件。它做这件事时的自信，和前面那 95% 一模一样。语气里没有一点犹豫。

你放一个 AI 去做发票分类。一切都很漂亮，直到来了一个格式奇怪的供应商，它开始把所有东西都归进错误的类别。悄无声息。你在季度结账时才发现。

你放一个 AI 去筛简历。它从历史数据里学习。如果历史数据有偏见，它就复制这个偏见，还会为每个选择给你一套条理清晰的理由。

模式永远是同一个。错误不会大喊大叫。它伪装成正确。

赚到钱的人和被烫伤的人，差别在哪

实际上，差别不在于选了哪个模型。在于谁肯花力气，在客户发现之前先去找那扇侧门。

当我为别人搭建带 AI 的自动化时，我会做三件看起来很烦、但正是它们救了项目的事：

• 明确定义它不能自己做主的地方。 金额超过 X、老合同的客户、取消请求、语气带火气的投诉。这些交给人。永远如此。机器准备，人签字。
• 所有东西都留痕迹。 每一条生成的回复都记录下来，包括输入了什么、输出了什么。没有这个，你连有问题都发现不了，更别提修了。
• 故意用难看的案例去测。 不是用那十个漂亮的示例。是用写得乱七八糟的问题，用歪掉的 PDF，用生气的客户，用里面自相矛盾的两个要求。

第三点相当于请 Pelrine 来试着把你打倒。花几个小时。避免那种会被截图发到社交网络上的错误。

“那 AI 不值得用吗？”

值得，非常值得。我就是靠搭建这些吃饭的。

只是真正的收益几乎从来不在于替代一整个人。而在于把那些没人喜欢做、却吃掉一整天的任务挪走。读五十封邮件，挑出其中三封紧急的。把一段会议录音变成带待办事项的摘要。把提案的第一版填好，让人在五分钟内审一遍，而不是从零开始写一个小时。

在这些场景里，出错的代价很低，而人类审核者本来就在那里，很自然，不需要新增流程。这里的账很快就算得过来。

问题出现在公司直接跳到“让 AI 自己回复客户”，因为在某篇帖子里看到这能做到。确实能做到。只是这样你就需要那些烦人的部分，而烦人的部分没人会发帖分享。

有句话我总在说：如果你没办法用一句话说清楚 AI 出错时会发生什么，你就还没准备好把它放到客户面前。这不是悲观，这和你招一个实习生接电话之前会问的问题是同一个。

人并没有变成摆设

申真谞赢，不是因为他比服务器算得快。他赢，是因为他对这个游戏的理解，让他能提出一个机器答不好的问题。

这恰恰就是你现在的角色。你了解你的客户，你的行业，那些例外情况，那些从没写在任何地方的约定。AI 对这些一无所知。它懂的是模式。而你的生意既由模式组成，也由例外组成。

只会用工具的人很快就变成大路货，因为同样的工具，所有人都能用同样的价格拿到。知道工具在哪里会失效、并围绕这一点设计流程的人，这样的人才值钱。优势不在于能不能用上。优势在于判断力。

这对围棋选手成立，对一家十二个人的公司老板同样成立。

如果你在考虑把 AI 放进流程的某个环节，又不想和客户一起发现那些窟窿，跟我说说你手上有什么。我通常从最有用的那个问题开始：它出错的那天，会发生什么？

你有没有直接批准过 AI 交给你的东西，连看都没看？我有过。

而且几乎每次都没出问题，这恰恰就是问题所在。AI 的错误不会大喊大叫。它来得漂亮、自信，而且是错的。

2023 年，研究人员在 KataGo 里找到了一个漏洞，那是世界上最强的围棋程序之一。一位业余棋手学会了这套下法，在对阵超人水平的机器时赢了 15 局中的 14 局。全程没有电脑帮忙。

系统并没有变弱。只是存在一扇侧门，而没有人往那边看过。

你的公司里也一样：AI 在客服对话中答对了 95%，剩下的 5% 它会编出一个你根本不提供的交付期限，语气还是一样笃定。

如果你没办法用一句话说清楚 AI 出错时会发生什么，那它还没准备好站到客户面前。

在考虑把 AI 放进流程的某个环节吗？跟我说说你手上有什么。我永远从同一个问题开始：它出错的那天，会发生什么？

#人工智能 #自动化 #科技 #小企业 #商业AI