Needle2：14MB 的 AI 智能体，直接跑在手机上

团队里每有一个人点一次带 AI 的按钮，账上就出去一点钱。不多，几分几毛，但确实在出。而且网一断，按钮就不работает了。过去几年，大多数公司认识 AI 的方式就是这样：一根接到外面服务器的管子，按滴计费。现在出现了一个有意思的反例：一个只有 14 兆字节的 AI 智能体，直接跑在设备里。不用云端。没有月费。也没有那根管子。

它叫 Needle2，来自 Cactus Compute。给你一个概念：14MB 比现在手机拍的一张高清照片还小。比你的银行 App 还小。而这么点体积里，装下了一个能听懂请求、挑选工具、执行动作的模型。

什么叫跑在设备上的 AI 智能体

AI 智能体不是那种只会回话的聊天机器人。它会决定做什么。你说“帮我约周二上午跟小李开会”，它听懂请求，挑出对应的功能（打开日历、检查冲突、创建事件），然后把结果给你。对话是手段，动作才是目的。

Needle2 的不同之处，在于这个决策发生在哪里。大模型那边，你的请求要穿过互联网，抵达数据中心，处理完再回来。Needle2 里，一切都发生在手机、手表、控制面板或者机器人自己的处理器上。请求从头到尾都没离开设备。

这解决了三个经常拖垮 AI 项目的问题：

• 按次计费的成本。 云端按 token 收钱。设备买回来之后，用多少次都不再收钱。
• 网络。 车间里一台信号很差的平板，如果 AI 住在云上，它就是块砖头。
• 敏感数据。 不离开设备的东西，就不会在路上泄露。

“可是 14MB 会不会太笨了？”

这个问题问得对。老实回答：是的，它比大模型受限得多。

Needle2 不会帮你写合同、分析财报，也不会跟你讨论战略。它只为一件具体的事训练过：听懂一条指令，然后调用正确的工具。这叫 function calling，比“什么都能聊”窄得多。小模型做窄任务，效果很好。小模型做开放任务，会自信满满地办砸。

背后的思路，其实你在生意里早就用了，只是没细想。你不会为了确认发票开没开而去找会计。你直接看系统。问题真难的时候，会计才上场。

按对按钮不需要一个巨大的脑子。决定该造哪个按钮，才需要。

落到实处，这就是一个两层架构。小的、本地的模型，接住那 80% 重复而简单的请求。一旦出现不在套路里的情况，它把球传给云上的大模型。只有那值得的 20%，你才付云端的钱。

这件事今天怎么碰到你的生意

我举点具体例子，因为“端上 AI”这个词，在你没看到它跑起来之前，听着都很抽象。

外勤团队。 维修技师、配送员、外访销售。他打开 App，说一句“客户拒收，产品有破损”，App 就把表单填好、标好原因、拍照存档。一个字都不用打。哪怕人在楼房地下室、完全没信号，也照常工作。有信号了再同步。

前台和柜台。 一台能听懂口头指令并直接录入系统的自助机或平板。不需要稳定的网络，也不需要按每次接待付费的 AI 服务合同。

机器和传感器。 工业控制面板、灌溉系统、闸机。这些东西要求快速响应，不能被网络延迟牵着走。

默认就保护隐私。 诊所、律所、人力资源。在这些场景里，把内容发到第三方服务器，先是个法律问题，然后才是技术问题。本地处理的话，这场争论根本不会发生。

注意这里的共同点：价值都不在原始智力上。而在于省掉打字、省掉对网络的依赖、省掉可变成本。

一开始没人算的那笔账

下面这部分，正是成功的 AI 项目和第三个月就死掉的项目之间的分水岭。

假设有 30 个外勤人员，每人每天 40 次交互。一天就是 1200 次调用。用大模型 API，按平均的提示词和回复长度算，一个月差不多几百块。看起来很便宜。然后因为工具好用，用量翻了一倍。然后你又加了一条流程。然后新分公司也接进来。一年之后，这条可变成本变成了表格里的一行，总会有人在会议上把它拎出来问。

用本地模型，这一行是零。成本在开发和设备上，而设备你本来就有。这是固定成本，可预测，不会随着用量增长而增长。对管理者来说，这比多出 5% 的准确率值钱得多。

另一面：本地模型搭起来更费劲。你得非常清楚地定义智能体能调用哪些工具，测试各种边界情况，并且准备好它听不懂时的方案。没有“把问题丢给 GPT 然后祈祷”这条路。你被迫把流程设计清楚。

说实话，这是好事。失败的 AI 项目，大多败在没设计好，而不是败在模型不够强。

怎么低成本试一下

如果你有兴趣，路径不是去买技术。是去挑一个又小又烦人的问题。

1. 找出团队里最重复的那件事。 就是所有人都在抱怨的那件。填表单、录数据、更新状态。
2. 数一数它每天发生多少次。 如果不到 50 次，那大概率不需要 AI，需要的是一个更好的按钮。
3. 把可能的动作列出来。 如果一张纸就列得完，小模型就够用。
4. 让十个人试用两周。 测量前后花的时间。要数字，不要感觉。
5. 然后再决定要不要铺开。

这套流程适用于任何 AI 项目，用不用 Needle2 都一样。经典错误是先挑工具，再去给它找一个问题。这样一定会失败，最后只剩一个漂亮但没人打开的看板。

这件事透露了未来几年的方向

云上的大模型不会消失。复杂推理、分析和创作，它依然无可替代。

但行业的方向已经很清楚：简单重复的任务正在往设备上沉。便宜、快、离线、私密。原来是服务的东西，变成了一个零件。视频压缩、语音识别、拼写检查，走的都是同一条路。当年是云上昂贵的新鲜事，今天是一块芯片。

对你的生意来说，这意味着一件很实在的事：不要为简单任务签长期的 AI 合同。这一层的价格会一路跌到接近于零。把预算留给智力真正吃重的地方。

如果你现在正看着自己的业务流程，心里想“这里好像有三件事正好合适”，那大概率是真的。难的不是 AI。难的是梳理流程、决定先自动化哪一块，以及在不弄坏现有东西的前提下把它搭起来。

我做的正是这类项目。想聊聊你的情况，看看我是怎么工作的。

一个只有 14MB 的 AI 智能体，直接跑在手机里，不用云端，也没有月费。

它叫 Needle2。体积比你的银行 App 还小，却已经能听懂一条指令，挑对工具，然后执行。

它写不了你的合同。但它能解决日常里那 80% 的重复活：填表单、录数据、更新状态。离线也行，在没有信号的地下室照样干活。

下面这点跟你的现金流有关：可变成本为零。只有那值得的 20%，你才花钱用云。

经典错误还是老样子：先挑工具，再去给它找一个问题。

如果你刚看了一眼自己的业务流程，心里冒出一句“这里好像有三件事正好合适”，那大概率是真的。找我聊聊吧。

#人工智能 #AI #科技 #自动化 #创新