2026-10-26 18:12:04 作者：狼叫兽
过去，想让手机跑35B级多模态大模型，几乎等于让一台16GB设备装下4倍于自身内存的模型。行业默认答案是压缩、裁剪，或者把任务交给云端。
近日，面壁智能联合OpenBMB社区正式发布并开源端侧多模态系列最新模型——MiniCPM-V 4.7。这次更新同时推出35B-A3B和1B两个版本，一个冲击端侧能力上限，一个拉低多模态智能的普惠门槛。其中MiniCPM-V 4.7 35B-A3B版本是全球首个可在端侧无损、流畅运行的开源MoE多模。
350亿参数，3GB内存，手机平板畅跑。这不是实验室演示，而是开源可用的现实。它标志着端侧多模态大模型，正式进入“大参数、小内存、无损运行”的新阶段。
端侧AI的不可能三角，LES调度破局
端侧大模型长期面临一个“不可能三角”：大参数、小内存、无损流畅，三者难以兼得。参数越大，越依赖云端；内存越小，越要牺牲精度；速度越快，越容易掉能力。
MiniCPM-V4.7 35B-A3B的完整权重约65.6GiB，是主流16GB设备全部内存的4倍多。按传统思路，这根本不可能在手机、平板上运行。面壁智能的做法不是把模型硬塞进内存，而是通过MoE混合专家架构和前瞻专家调度方案LES，让模型不必全部加载：大部分专家存放在固态硬盘中，用到时再读入，实现“边算边读”。
但“边算边读”说起来容易，做起来难。传统MoE模型在端侧运行时，最大瓶颈不是算力，而是等待。每一层要调用哪些专家，必须等上一层算完才能确定，读盘也只能从这时开始。结果是每生成一个token，每一层都要停下来等一次读盘，速度被严重拖慢。
LES（Lookahead Expert Scheduling，前瞻专家调度）的核心突破，在于利用了一个关键规律：模型内部信息逐层累加，相邻两层的输入高度相似；而路由模块选择专家，本质上是给所有专家打分后取前几名，输入的轻微变化通常不会打乱名次。
基于这一特点，LES把当前层的路由输入特征直接送入下一层的路由模块，在计算当前层的同时，提前预测下一层将要使用的专家，并由后台线程提前把它们从闪存读入内存。等到下一层开始计算时，大部分所需专家已经就绪——读取时间被尽量压进计算过程里。简单说，模型在算当前层时，顺手把下一层要用的专家从硬盘搬到内存，等下一层开始时，大部分已经就位。
LES还调整了层内专家的计算顺序：实际路由选中且已经加载到位的专家先算，其余所需专家同步加载。通过让计算与读取尽可能并行，进一步减少加载等待和GPU空闲时间。
更关键的是，LES的预判只决定“提前搬谁、先算谁”，不决定“最终用谁”。每个token实际调用哪些专家，仍由模型原有的路由模块根据真实输入选定；未被预判到的所需专家，也会正常加载并参与计算。因此，开启LES后，模型输出与关闭时完全一致，提速不以精度损失为代价。
据官方测试，这套方法无需额外训练模型，多数场景下能提前备好超过80%的所需专家，生成速度平均提升约5倍。最终，在iPad Pro M4 16GB上生成速度达到17+ token/s，在iPhone 18 Pro Max上达到20+ token/s，仅用约3GB内存。
这意味着，端侧AI可以具备完整的大模型能力，这不是简单的模型压缩或功能堆叠，而是存储、计算与调度协同的系统级优化。
加载更轻、输出更快，能力不打折
LES解决了“提前搬”的问题，MiniCPM-V4.7还从权重大小和存储方式入手，让专家加载本身更轻、更快。
一方面，把权重精度按层调低，减少体积和传输量；另一方面，把同一个专家的参数连续存放，让硬盘一次读齐，不用来回跳。两项优化共同降低了专家加载对端侧存储容量与带宽的需求，与预取和计算调度配合，进一步压缩加载等待时间。
那么，这套方案是否以能力为代价？从测评看，并没有。35B-A3B在通用视觉、STEM、OCR/图表、长视频等核心任务上表现突出，在34项权威基准测评中全面领先同档的Qwen3.6-35B-A3B，甚至超越更大体量的Qwen27B、Gemma-4 31B，实现看图、读文档、做题、看视频样样精通。与此同时，1B版本同步开源，MMBench 83.17、OCRBench 86.10，领先同档Qwen3.5-0.8B，让入门级设备也能搭载高质量多模态能力。一端是能力上限，一端是普惠下限，两个版本同时刷新了端侧多模态的“性能—效率帕累托前沿”。
全链路效率也没有拖后腿。输入端延续并升级了ViT内提前压缩技术，支持4倍/16倍混合视觉token压缩：4倍模式保留更多画面细节，适合文档解析；16倍模式显存占用更少、首响更快、功耗更低，适合实时交互，且开启后MMBench、OCRBench、OmniDocBench等关键分数基本保持不变。输出端则采用DSpark投机解码，由轻量草稿模块先提出多个候选token，再由主模型一次性并行验证，每个最终输出token都经过主模型确认，回答质量不受影响；在iPad Pro M4 16GB上，代码调试、语法纠错、科学解释、逻辑推理、数学计算等任务生成速度平均提升1.17倍。
对端侧模型而言，真正的“性能”不只是跑分高，而是从视觉输入到token输出，整条链路都能在有限内存和算力下保持能力、降低等待。加载优化、测评成绩和全链路效率，共同说明一件事：MiniCPM-V4.7不是“能跑就行”的端侧模型，而是在有限内存和算力下，把完整能力从加载到输出跑通了——加载更轻、输出更快，能力不打折。
AI能力走向“终端原生”
MiniCPM-V4.7 35B-A3B在端侧无损运行，影响的不只是“手机能跑多大模型”，而是AI能力在整个计算体系中的位置。手机、平板、PC、汽车、机器人、边缘设备，都将因此获得前所未有的多模态能力。过去需要联网、上传数据、等待云端返回的AI功能，现在可以在本地瞬间完成。隐私安全、实时响应、极低成本——大模型能力不再只由云端提供，每个人都能在本地设备上拥有强大的多模态AI能力。
生态方面，MiniCPM-V 4.7已完成与Intel、瑞芯微、AMD、ARM、后摩智能、NVIDIA、Apple等厂商的Day-0级适配，并通过FlagOS完成海光信息、沐曦股份、摩尔线程、昆仑芯、华为、天数智芯、平头哥、曦望智能、清微智能、此芯科技（ARM）等多款AI芯片与端侧芯片的Day-0级适配。软件侧同步支持llama.cpp、Ollama、MLX、vLLM、SGLang等主流推理框架，并开源官方微调代码。这不是一家公司的独角戏，而是整个端侧AI生态的集体跃迁：开源开放让全球开发者都能在终端设备上构建下一代AI应用，推动行业标准形成，加速AI普惠进程。
对面壁智能而言，大模型的未来不只在于参数规模，更在于效率：用更少的参数承载更强的智能，用更少的算力完成更复杂的任务，模型才能离开数据中心，走进每个人手中的设备。
MiniCPM-V4.7的开源，不只是一次模型更新，更是端侧AI思路的一次转向——从“把模型压小”转向“用系统级效率打破内存墙”。当35B级多模态模型能以约3GB内存运行，AI能力正走向“端云协同、终端原生”，端侧AI的普惠时代，已然开启。
