返回博客
人工智能隐私治理

AI 预测性监控:最后由你承担的风险

2026年9月12日·7 分钟阅读·Diego Horvatti

你请了一个 AI 来做会议纪要。它听每个人说话,转写,然后保存。现在想象一下,同样类型的系统,在别人手里,被用来预测谁将要去抗议,在抗议发生之前。这不是科幻。The American Prospect 报道过 Anthropic 与美国安全部门签约,构建一套用于监控活动人士的预测性监控系统。

AI 预测性监控就是字面意思:把关于人的海量数据堆在一起,让模型指出谁大概率会做某件事。不是做过什么。是将要做什么。如果这听起来离你的生意很远,请继续往下看,因为这个距离比你想的要近。

这条新闻真正改变了什么

国家层面的监控并不新鲜。变的是入场门槛。

以前,交叉分析几千人的数据需要一个大团队、一笔预算和好几个月。现在只需要一个 API、一个不错的数据库和一段写得好的提示词。那个把你 40 页合同压成三段的技术,同样能读完 4 万条消息,拼出一个人的行为画像。

值得一提的是,Anthropic 是市场上最卖力推销"安全 AI"和"宪法式 AI"的公司。是那个写存在性风险宣言的公司。偏偏是这家公司站在一份监控活动人士合同的中心,这说明了一件重要的事:写在官网上的使用政策不保证任何东西。大合同会改变政策。

我不是说 Anthropic 是恶人,别家都是圣人。我说的恰恰相反:如果最谨慎的那家都这么做,那就别再把供应商的名声当成一层安全防护了。

为什么你不接政府项目也照样被影响

三个很实际的理由。

第一,你其实已经在做预测性监控,只是没用这个名字。信用评分就是行为预测。把客户标记为"可能流失"的系统就是行为预测。给简历打分排序的 HR 工具就是行为预测。它和新闻里那件事的区别,在规模和后果,不在技术。

第二是传染式监管。这类事情一爆,立法者不会拿手术刀,会抡大锤。巴西 LGPD 已经有第 20 条,赋予数据主体要求复核影响其利益的自动化决策的权利。只要你有任何系统在没有人参与的情况下对一个人做出决定,你就已经在射程内了。规则收紧时,不会来问你的初衷好不好。

第三点最讨厌:你的数据可能就在另一头。如果你用的工具会把客户数据发给某个 AI 接口,你并不知道之后发生了什么。你只知道合同上怎么写。这不是一回事。

隐私政策是承诺。架构才是保障。

只有一个问题的测试

我拿这个问客户,能解决八成的疑问。问题是:

如果这个数据库明天泄露,有人拿一个模型跑一遍,去预测名单上这些人的行为,会跑出什么?

我在一家诊所做过这个练习。他们有一套很简单的预约系统,毫不复杂。只是那个"备注"字段里,装着前台多年随手写下的内容。诸如"患者是哭着来的""不能让丈夫知道""每次都拖着不付钱"。没有人把它设计成敏感数据库。它是自己一点点变成的。

系统里根本没有任何 AI。但如果有人把一个模型指向那个字段,一个下午就能拼出 3000 人的心理和财务画像。

修复并不是什么六个月的大项目。就是把自由填写的字段拆成固定选项,把旧记录归档到另一个受限访问的库里,再定下销毁期限。两周的工作。风险从"灾难级"降到了"麻烦级"。

实际该怎么做

这里没有一件事需要伦理委员会,也不需要花五十万请咨询。

  • 盘点你往外发的东西。 你在用的每个带 AI 的工具:它收到了什么?全名?身份证号?和客户的对话内容?写进一张表格。大多数公司答不上来,而这正是全部问题所在。
  • 能开零留存就开。 OpenAI、Anthropic 和 Google 在 API 和企业方案里都提供不保留数据的模式。通常是一个设置项,不是一份新合同。很多人花了这个钱却从来没去打开。
  • 发送前先做最小化。 如果 AI 只需要判断一张工单的情绪,它不需要客户的名字。去掉。换成一个标识符。半小时的工作,风险的性质就变了。
  • 人来决定,AI 只做建议。 任何影响到一个人的决定(授信、录用、取消、定价),由 AI 给出带理由的建议,由人签字。这让你站在第 20 条正确的一侧,顺带还能在模型出错变成官司之前抓住它。
  • 定下销毁期限并执行。 不存在的数据不会泄露,不会被传唤,也喂不出任何预测。把一切永远留着,是最贵的一个决定,而且没人是故意做出这个决定的。
  • 把你不会做的事写下来。 一页纸。"我们不使用 AI 预测 X 范围之外的客户个人行为。"当有人在会上兴致勃勃地提出这个想法时,它就是刹车。

总会冒出来的那个反驳

"Diego,这会拖慢我。竞争对手什么都用,直接超过去了。"

也许吧。会有一段时间。

只是这笔账算得不完整。一个对人做决定却留不下任何理由痕迹的系统,是颗延时炸弹。出问题的时候,你解释不清楚,因为连你自己都不知道模型为什么那样判。我见过一家公司花三周时间,试图重建一次自动拒绝背后的逻辑,只为回应消费者保护机构的一封投诉。三周的资深团队时间。他们本来想省下的"拖慢",是两天。

还有商业这一面。企业客户已经在问他们的数据流向哪里。答得清楚的拿下合同。答"应该是在云上吧"的丢掉合同。数据治理在 B2B 里已经变成销售论据,不只是合规清单上的一项。

真正要紧的一点

这条关于预测性监控的新闻,重点不是 Anthropic。重点是:大规模预测人类行为的能力,变得又便宜又唾手可得,而规则还没人事先谈好。

AI 公司拿政府合同去做什么,你控制不了。你能控制的是什么数据流出你的公司、存多久、以及谁在决定上签字。这很少吗?是很少。但这一块是你的,而大多数公司连这一块都没顾上。

这些活儿一点都不光鲜:盘点、最小化、销毁期限、人在回路里。没有一项能发出漂亮的 LinkedIn 动态。但下一个大标题出来的时候,它能让你睡得着。

如果你的业务在用 AI,却说不清哪些数据流出了公司,现在就是该看一看的时候。告诉我你在用什么,我们一起把它梳理清楚,不必搞成一个做一年的项目。

LinkedIn 摘要

Anthropic,这家最常把"安全 AI"挂在嘴边的公司,出现在了一份用于监控活动人士的预测性监控合同里。
但真正的教训不在 Anthropic 身上。而在于:大规模预测人类行为已经变得很便宜。以前需要一个团队和好几个月,现在只要一个 API 和一段写得不错的提示词。
如果你觉得这跟你无关,做个只有一个问题的测试:如果你的数据库明天泄露,有人拿一个模型跑一遍,会跑出什么?
我在一家诊所做过这件事。"备注"字段里是前台多年随手写下的内容。没有人把它设计成敏感数据。它是自己一点点变成敏感数据的。两周的工作,把风险从灾难级降到了麻烦级。
隐私政策是承诺。架构才是保障。
如果你的业务在用 AI,却说不清哪些数据流出了公司,现在就该看一看了。告诉我你在用什么,我们一起把它梳理清楚。
#人工智能 #数据保护 #LGPD #数据治理 #科技