中国AI突破逆天技术：600亿参数大模型，以后能直接装进手机里用

你有没有发现，现在手机越用越卡，内存越买越大，但还是不够用？因为AI大模型越来越强，参数动不动就几百亿，对内存的要求越来越高，连内存价格都跟着一路飞涨。但最近传来一个好消息：中国AI公司把这个瓶颈给捅破了！只需要原来六分之一的内存，就能跑出几乎一模一样性能的大模型，以后600亿参数的大模型，直接就能装进你口袋里的手机，这到底是怎么做到的？今天给你讲得明明白白。

流量变天了：从搜索框 → AI对话框。用户不再"搜"，而是"问"。谁被AI推荐，谁就拿到新入口。方法在公众号「智扣AI」。

一、大模型装进手机，最大的坎居然是内存。

你肯定听说过，现在AI大模型都在比拼参数，参数越多模型越聪明，但参数多了也有麻烦——太吃内存了。

举个最简单的例子，一个80亿参数的大模型，按照传统方法，得要16GB的显存才能跑起来。你想想，一般手机内存才多大？大多就是8GB、12GB，就算能装下系统和常用APP，哪还有空间塞下这么大一个模型？

而且更头疼的是，因为AI行业疯抢内存，现在内存价格一天比一天贵，高盛已经把今年内存价格涨幅预期上调到了280%，整个行业都在喊“缺内存”。

那有没有办法，既能让模型保持聪明，又能少占内存呢？

还真有！最近中国AI公司面壁智能干了一件大事：把大模型给“压缩”了，压缩到什么程度？原来需要16GB，现在不到3GB就够了，直接省了6倍空间，但模型能力只损失了不到3%——几乎跟原来一样好用。

更夸张的是，按照这个方法走下去，未来600亿参数的大模型，直接就能跑在8GB内存的手机上。听到这你肯定会问：这怎么可能？到底是怎么做到的？

二、把几万个数字砍成3个，居然没怎么影响性能。

其实思路说出来你就能懂，就是我们常说的“量化压缩”，只不过这一次压缩得比较极端。

传统大模型存储参数的时候，用的是精度很高的数字，每个权重能有几万种不同的取值，精度是够了，但也占了大量空间。就好比你要拍一张照片，要保留几百万种颜色，文件当然大。

而这次用的“三值量化”方法，直接把可选的数值从几万种砍成了三种，也就是黑、白、灰三个级别，编码只需要1.58个二进制位，所以也叫1.58-bit压缩。

刚听到这个思路的时候，很多人都不信：砍得这么狠，模型能力不得废一半？

但这两年的研究结果出乎所有人意料：大模型参数里其实有大量冗余信息，说白了就是很多“水分”，把水分挤出去，只要分配得当，三种值就足够承载模型绝大部分能力。

这个方向其实全世界都在抢着做：2024年微软先论证了这条路走得通，后来美国公司也推出了商业化的三值模型，学术界也一直在跟进研究。但之前所有训练都是在国外英伟达的GPU上做的，大家都在问一个问题：国产芯片上，能跑通三值大模型训练吗？

这次，我们给出了肯定的答案。

三、国产芯片上第一次跑通，三个突破让全世界刮目相看。

在最近的华为鲲鹏昇腾开发者大会上，面壁智能联合清华大学和OpenBMB开源社区，发布了BitCPM-CANN三值大模型系列，一口气干成了三件之前没人做到的事。

第一件，是第一次在华为昇腾芯片上，端到端完成了三值大模型训练。之前所有公开的三值模型都是在国外GPU上训出来的，这是国产芯片第一次拥有了自己的三值训练能力，意义不小。

第二件，是第一次直接把规模推到了8B（80亿参数）。之前国产芯片上的低比特训练，都只是小规模验证，这次直接发布了0.5B、1B、3B、8B四个尺寸，从小模型到大模型，覆盖了从手机到PC所有端侧场景，一步到位。

第三件，是第一次做了完整的对照评测。他们拿11项任务、四大类能力来测，结果发现从1B到8B，模型能力保留率都在95.7%到97.2%之间。什么概念？就是压缩后的三值模型，和全精度模型比起来，差距比很多不同全精度模型之间的差距还小，普通人几乎用不出来区别。

而且这不是那种只能看不能用的“PPT模型”，所有尺寸都已经开源了，开发者直接就能下载用。对于熟悉面壁智能MiniCPM系列的朋友来说，这就是MiniCPM家族的三值版本，直接继承了前面3万GitHub星、3000万下载量的生态，拿来就能用。

四、省6倍显存，不光手机受益，整个AI行业都解渴。

我们来算一笔账你就知道这个突破有多实在：原来一个8B的全精度模型需要16GB显存，压缩成三值之后不到3GB，直接省了6倍，这个好处谁用谁知道。

现在终端芯片厂商其实都准备好了，高通最新的旗舰芯片就支持2-bit原生推理，我们这个1.58-bit的模型刚好能直接用，相当于模型厂商和芯片厂商双向奔赴，就等着手机厂商落地了。

现在全世界都在抢端侧AI的入口：Google已经让AI全面接管Android设备，从手机到手表到车机；苹果6月的开发者大会，也要推出下一代AI重大升级。两大操作系统同时发力，核心需求就是：在手机上跑更强的AI，而内存就是最大的瓶颈。谁能用更少内存跑更强模型，谁就拿了下一轮竞争的先手棋。

放到整个AI产业来看，这个突破就更解渴了：现在AI最缺的资源就是内存，HBM市场规模今年要涨到546亿美元，价格涨得离谱。而这个技术不用增加物理内存，就能把模型能力提升好几倍，在内存涨价的今天，这哪里是优化，简直就是刚需。

更有意思的是，这件事反过来也证明了：原来传统16位模型里，真的有大量冗余的精度，三个值就装得下绝大部分知识。低比特不只是省空间的权宜之计，可能本身就是一种更高效的知识承载方式。

五、为什么是这家中国公司，先做成了这件事？

现在AI圈都在比谁的模型更大、参数更多，为什么偏偏是面壁智能，先把“做小做轻”这件事做成了？

其实看完他们的路径你就会发现，这不是偶然，是他们从成立那天起就选了这条路。当国内大多数团队都在追逐更大模型的时候，面壁智能沉下心花了大量时间做底层训练框架，就是想解决“怎么用更少资源，训出足够好的模型”，这套基础设施积累，就是今天能做成这件事的底子。

在三值量化这个方向上，他们的判断也比行业早。当很多团队还在犹豫“极低比特到底行不行”的时候，他们就已经选了这条路，先在GPU上跑通了整套训练方法，再整体迁移到昇腾平台上。所以这不只是把一个模型移植到国产芯片上，是把一整套训练方法、工程体系都搬了过来。

而且他们本来就是做端侧模型出身，MiniCPM系列已经是国内最受欢迎的端侧开源模型家族，这次的BitCPM-CANN就是顺理成章的延伸，不光是一个模型，更是给国产芯片搭了一个低比特训练的底座，以后其他团队想做，直接在这个基础上起步就行。

更重要的是，这一次我们走通了一条完整的国产闭环：训练框架是国产，芯片是国产，模型是国产，方法论是自主的。从训练端的昇腾，到推理端的终端芯片，再到开源的模型和脚本，全链条都通了。

最后想说，AI发展到今天，竞争已经从“比谁模型更大”，慢慢变成“比谁能把智能真的放到每一台设备上”。原来我们总说“等硬件变强了再装模型”，现在这个思路变了：让模型变得更聪明，去适配现有的硬件，这才是破局的方向。

这次中国AI公司在国产芯片上跑通三值大模型，不光解决了手机端跑大模型的内存瓶颈，更给整个行业走出了一条新路：不用盯着别人的芯片，我们自己就能从底座到模型，搭出一条完整的技术路线。未来我们口袋里的手机，就能跑几百亿参数的大模型，这个日子比我们想的可能还要更近。