端侧大模型真的能替代云端?部署架构、优化方案与芯片选型全解析
先说结论
- 端侧大模型不是"把云端模型缩小搬过来",而是一次重新算账:算力、内存带宽、功耗、时延四项约束里,最紧的永远是内存带宽。
- 2025 年之后,7B 到 14B 模型在旗舰手机上已经能跑到可用的交互速度,但"能用"和"好用"之间差着一次压缩和一轮编译优化。
- INT4 量化是当前端侧部署的默认起点,不是终点。真正决定体感的是算子融合、KV 缓存布局和内存分配策略这些工程细节。
- 端云协同会长期存在:端上做高频、短时延、涉隐私的推理,云端做长上下文、多模态和高精度任务,谁也别想完全取代谁。
一台手机跑模型,卡在哪三个地方
先说一个具体场景。用户在飞机上打开手机的 AI 助手,要求它读完一份 60 页的 PDF 并总结要点。如果这个请求要走云端,那么第一道墙是网络,飞机上没有网;第二道墙是隐私,那份 PDF 可能是公司财报;第三道墙是时延,上传几十兆再等云端排队返回,体验上还不如自己翻。
端侧部署要解决的,正是这类"必须在本机完成"的请求。但把模型搬到本机,立刻会撞上三个物理约束。
第一个是内存容量。一个 7B 参数的模型,FP16 精度下权重大约 14GB,而旗舰手机的整机内存通常是 12GB 到 16GB,还要分给系统和应用。不做压缩,模型连加载都加载不进去。第二个是内存带宽。手机 LPDDR5X 的带宽在几十 GB/s 量级,而 GPU 服务器上的 HBM 是 TB/s 量级,差了接近两个数量级。大模型解码阶段每个 token 都要把权重从内存搬到计算单元,带宽直接决定了每秒能吐几个字。第三个是功耗与散热。手机没有风扇,持续高负载十几秒就会降频,标称算力只是瞬时值。
这三条约束解释了为什么端侧优化的重点从来不是"堆算力",而是"少搬数据"。理解了这一点,后面的量化、剪枝、算子融合就都能归位:它们本质上都在减少每生成一个 token 需要搬运的字节数。
把 7B 塞进 12GB:四种压缩手段的真实效果
量化不是"越低越好"
量化把权重和激活从高精度浮点换成低位宽整数。FP16 换成 INT8,模型体积直接减半;换成 INT4 再减半,7B 模型的权重可以压到 3.5GB 左右,这才谈得上塞进手机。
但精度损失不是线性的。权重类量化在 INT8 下几乎无损,INT4 下通常还能保留九成以上的效果,代价是部分任务会明显退化,尤其是长链推理、数学计算和需要精确引用原文的场景。工程上的常见做法是混合精度:注意力层和输出层保留更高位宽,中间的前馈层用 INT4,再把少数敏感层单独提出来保护。
还有一类更激进的做法是 2bit 甚至 1.58bit 的三值量化,理论上体积能再压一半,但目前只在特定模型和特定任务上验证过,通用性还不足。看到宣传里"1bit 大模型"时,先问一句:它的困惑度涨了多少,长文本还能不能连贯。
剪枝:能省,但省得不均匀
剪枝删掉贡献小的连接、通道、注意力头甚至整层。结构化剪枝删得整齐,硬件友好,能真正提速;非结构化剪枝压缩率高,但稀疏矩阵在手机 NPU 上往往没有对应的加速通路,省了体积没省时间。
实际项目中更常见的不是"剪枝",而是"选小模型"。与其在一个 14B 模型上剪掉四成再修精度,不如直接用一个原生训练好的 3B 或 7B 模型,效果往往更好,工程风险也更低。
蒸馏:把大模型的"手感"传下去
蒸馏用大模型当教师,让小模型学着模仿它的输出分布。端侧场景里,这一步的价值在于把云端模型在特定任务上的判断力迁移到本地小模型上,比如客服话术、结构化抽取、代码补全。
蒸馏的关键不是让学生模型背答案,而是给它足够多样的教师输出,包括错误样本和边界样本。很多团队踩的坑是只蒸馏了"标准问法",上线后用户换个说法就答不上来。
编译器和算子:最不起眼、最影响体感
同样一个 INT4 模型,跑在不同推理引擎上,首字延迟能差两三倍。原因在于算子是否融合、是否用上了硬件的定点指令、KV 缓存是否连续布局、内存是否零拷贝。
这部分工作几乎没有论文可发,却决定了产品能不能用。一个典型优化是把注意力的多个小算子合并成一个大算子,减少中间结果落内存的次数;另一个是把 KV 缓存在生成过程中按页管理,避免反复扩容拷贝。
** 端侧四种优化手段的效果与代价**
| 手段 | 体积压缩 | 速度提升 | 精度损失 | 工程难度 |
| 量化 INT8 | 约 50% | 1.5-2 倍 | 极小 | 低 |
| 量化 INT4 | 约 75% | 2-3 倍 | 中,长链任务明显 | 中 |
| 结构化剪枝 | 20%-40% | 1.2-1.6 倍 | 中,需微调恢复 | 高 |
| 知识蒸馏 | 视学生模型而定 | 视规模而定 | 任务相关,垂直场景可控 | 中 |
| 算子融合与编译优化 | 无 | 1.5-3 倍 | 无 | 高 |
芯片不是算力越大越好,是"每瓦能算多少"
手机 SoC 里能跑模型的单元至少有四类。CPU 通用但效率低,通常只在小模型或控制逻辑上兜底;GPU 并行能力强,适合矩阵运算,但功耗高;NPU 是专门为神经网络设计的加速器,能效比通常是 GPU 的数倍;ISP 和传感器处理单元则在图像、视频链路里承担前置处理。
真正的差距在能效比,而不是峰值 TOPS。厂商宣传的 40 TOPS、60 TOPS,多数是低精度稀疏算力,且是瞬时峰值。工程上更有意义的指标是"持续算力"和"每瓦 token 数",也就是插着电、温度稳定在 40 度左右时,每秒能生成多少 token,耗多少电。
内存带宽同样是硬门槛。很多端侧芯片算力标称不低,但配的是普通 LPDDR,跑 7B 模型时吞吐被带宽压到很低。这也是为什么一些厂商开始在移动端引入更宽的总线和更大的片上缓存,思路和服务器上的 HBM 一样,只是预算小得多。
软件生态也是选型变量。芯片有 NPU 不等于模型能跑,还要有对应的算子库、量化工具链和对主流框架的转换支持。一个模型的适配周期从两周到两个月不等,这在产品节奏上是很实际的成本。
三个已经跑通的场景
手机端助手
这是目前出货量最大的场景。典型形态是输入法联想、通话摘要、相册语义搜索、离线翻译。共同点是任务短、对时延敏感、数据敏感,正好落在端侧模型的舒适区。模型规模多在一到三十亿参数,跑在 NPU 上,配合云端做兜底。
PC 端本地知识库
笔记本的散热和内存预算比手机宽松,能跑 7B 到 14B 模型。企业用户看重的是文档不出本机,配合本地向量库做检索问答。这类产品的瓶颈不在模型,而在文档解析质量和检索召回率,模型只负责最后一步组织语言。
车机与工业网关
车机场景对时延和可靠性要求极高,语音唤醒、指令理解、驾驶员状态判断都必须本地完成,不能等网络。工业网关则常常部署在无网或弱网环境,模型用于异常检测和工单分类,规模小但要求稳定,通常还要考虑七年以上的生命周期供货。
三个还没解决的硬问题
第一是内存墙。只要解码阶段还得把权重整体搬一遍,端侧吞吐就被带宽焊死。业界的应对是稀疏化、专家混合和更激进的低位宽,但这些方案在通用任务上的稳定性都还没到可以放心量产的程度。
第二是长上下文。端侧内存装得下模型,装不下长文本的 KV 缓存。一段两万字的材料,KV 缓存可能比模型本身还占地方。目前的做法是滑动窗口、分层压缩和检索式外挂,各有取舍,还没有统一答案。
第三是多模态。图像和视频的编码器参数量不小,加上视觉 token 数量多,端侧算力和内存压力会再上一个台阶。现阶段多数产品是"本地做轻量视觉、云端做重理解",纯本地的多模态还有距离。
一句话概括:端侧大模型已经从演示走到量产,但它的天花板由内存带宽和散热决定,而不是由参数规模决定。谁能在同样的功耗预算里把每个 token 搬得更少,谁就赢下这一轮。
再补充一个观察:端侧模型的竞争,正在从"谁的模型更小"转向"谁的系统更省"。同样的模型,配合不同的内存管理、调度策略和算子实现,实际续航能差出一倍。
- 端侧大模型不是"把云端模型缩小搬过来",而是一次重新算账:算力、内存带宽、功耗、时延四项约束里,最紧的永远是内存带宽。
- 2025 年之后,7B 到 14B 模型在旗舰手机上已经能跑到可用的交互速度,但"能用"和"好用"之间差着一次压缩和一轮编译优化。
- INT4 量化是当前端侧部署的默认起点,不是终点。真正决定体感的是算子融合、KV 缓存布局和内存分配策略这些工程细节。
- 端云协同会长期存在:端上做高频、短时延、涉隐私的推理,云端做长上下文、多模态和高精度任务,谁也别想完全取代谁。
一台手机跑模型,卡在哪三个地方
先说一个具体场景。用户在飞机上打开手机的 AI 助手,要求它读完一份 60 页的 PDF 并总结要点。如果这个请求要走云端,那么第一道墙是网络,飞机上没有网;第二道墙是隐私,那份 PDF 可能是公司财报;第三道墙是时延,上传几十兆再等云端排队返回,体验上还不如自己翻。
端侧部署要解决的,正是这类"必须在本机完成"的请求。但把模型搬到本机,立刻会撞上三个物理约束。
第一个是内存容量。一个 7B 参数的模型,FP16 精度下权重大约 14GB,而旗舰手机的整机内存通常是 12GB 到 16GB,还要分给系统和应用。不做压缩,模型连加载都加载不进去。第二个是内存带宽。手机 LPDDR5X 的带宽在几十 GB/s 量级,而 GPU 服务器上的 HBM 是 TB/s 量级,差了接近两个数量级。大模型解码阶段每个 token 都要把权重从内存搬到计算单元,带宽直接决定了每秒能吐几个字。第三个是功耗与散热。手机没有风扇,持续高负载十几秒就会降频,标称算力只是瞬时值。
这三条约束解释了为什么端侧优化的重点从来不是"堆算力",而是"少搬数据"。理解了这一点,后面的量化、剪枝、算子融合就都能归位:它们本质上都在减少每生成一个 token 需要搬运的字节数。
把 7B 塞进 12GB:四种压缩手段的真实效果
量化不是"越低越好"
量化把权重和激活从高精度浮点换成低位宽整数。FP16 换成 INT8,模型体积直接减半;换成 INT4 再减半,7B 模型的权重可以压到 3.5GB 左右,这才谈得上塞进手机。
但精度损失不是线性的。权重类量化在 INT8 下几乎无损,INT4 下通常还能保留九成以上的效果,代价是部分任务会明显退化,尤其是长链推理、数学计算和需要精确引用原文的场景。工程上的常见做法是混合精度:注意力层和输出层保留更高位宽,中间的前馈层用 INT4,再把少数敏感层单独提出来保护。
还有一类更激进的做法是 2bit 甚至 1.58bit 的三值量化,理论上体积能再压一半,但目前只在特定模型和特定任务上验证过,通用性还不足。看到宣传里"1bit 大模型"时,先问一句:它的困惑度涨了多少,长文本还能不能连贯。
剪枝:能省,但省得不均匀
剪枝删掉贡献小的连接、通道、注意力头甚至整层。结构化剪枝删得整齐,硬件友好,能真正提速;非结构化剪枝压缩率高,但稀疏矩阵在手机 NPU 上往往没有对应的加速通路,省了体积没省时间。
实际项目中更常见的不是"剪枝",而是"选小模型"。与其在一个 14B 模型上剪掉四成再修精度,不如直接用一个原生训练好的 3B 或 7B 模型,效果往往更好,工程风险也更低。
蒸馏:把大模型的"手感"传下去
蒸馏用大模型当教师,让小模型学着模仿它的输出分布。端侧场景里,这一步的价值在于把云端模型在特定任务上的判断力迁移到本地小模型上,比如客服话术、结构化抽取、代码补全。
蒸馏的关键不是让学生模型背答案,而是给它足够多样的教师输出,包括错误样本和边界样本。很多团队踩的坑是只蒸馏了"标准问法",上线后用户换个说法就答不上来。
编译器和算子:最不起眼、最影响体感
同样一个 INT4 模型,跑在不同推理引擎上,首字延迟能差两三倍。原因在于算子是否融合、是否用上了硬件的定点指令、KV 缓存是否连续布局、内存是否零拷贝。
这部分工作几乎没有论文可发,却决定了产品能不能用。一个典型优化是把注意力的多个小算子合并成一个大算子,减少中间结果落内存的次数;另一个是把 KV 缓存在生成过程中按页管理,避免反复扩容拷贝。
** 端侧四种优化手段的效果与代价**
| 手段 | 体积压缩 | 速度提升 | 精度损失 | 工程难度 |
| 量化 INT8 | 约 50% | 1.5-2 倍 | 极小 | 低 |
| 量化 INT4 | 约 75% | 2-3 倍 | 中,长链任务明显 | 中 |
| 结构化剪枝 | 20%-40% | 1.2-1.6 倍 | 中,需微调恢复 | 高 |
| 知识蒸馏 | 视学生模型而定 | 视规模而定 | 任务相关,垂直场景可控 | 中 |
| 算子融合与编译优化 | 无 | 1.5-3 倍 | 无 | 高 |
芯片不是算力越大越好,是"每瓦能算多少"
手机 SoC 里能跑模型的单元至少有四类。CPU 通用但效率低,通常只在小模型或控制逻辑上兜底;GPU 并行能力强,适合矩阵运算,但功耗高;NPU 是专门为神经网络设计的加速器,能效比通常是 GPU 的数倍;ISP 和传感器处理单元则在图像、视频链路里承担前置处理。
真正的差距在能效比,而不是峰值 TOPS。厂商宣传的 40 TOPS、60 TOPS,多数是低精度稀疏算力,且是瞬时峰值。工程上更有意义的指标是"持续算力"和"每瓦 token 数",也就是插着电、温度稳定在 40 度左右时,每秒能生成多少 token,耗多少电。
内存带宽同样是硬门槛。很多端侧芯片算力标称不低,但配的是普通 LPDDR,跑 7B 模型时吞吐被带宽压到很低。这也是为什么一些厂商开始在移动端引入更宽的总线和更大的片上缓存,思路和服务器上的 HBM 一样,只是预算小得多。
软件生态也是选型变量。芯片有 NPU 不等于模型能跑,还要有对应的算子库、量化工具链和对主流框架的转换支持。一个模型的适配周期从两周到两个月不等,这在产品节奏上是很实际的成本。
三个已经跑通的场景
手机端助手
这是目前出货量最大的场景。典型形态是输入法联想、通话摘要、相册语义搜索、离线翻译。共同点是任务短、对时延敏感、数据敏感,正好落在端侧模型的舒适区。模型规模多在一到三十亿参数,跑在 NPU 上,配合云端做兜底。
PC 端本地知识库
笔记本的散热和内存预算比手机宽松,能跑 7B 到 14B 模型。企业用户看重的是文档不出本机,配合本地向量库做检索问答。这类产品的瓶颈不在模型,而在文档解析质量和检索召回率,模型只负责最后一步组织语言。
车机与工业网关
车机场景对时延和可靠性要求极高,语音唤醒、指令理解、驾驶员状态判断都必须本地完成,不能等网络。工业网关则常常部署在无网或弱网环境,模型用于异常检测和工单分类,规模小但要求稳定,通常还要考虑七年以上的生命周期供货。
三个还没解决的硬问题
第一是内存墙。只要解码阶段还得把权重整体搬一遍,端侧吞吐就被带宽焊死。业界的应对是稀疏化、专家混合和更激进的低位宽,但这些方案在通用任务上的稳定性都还没到可以放心量产的程度。
第二是长上下文。端侧内存装得下模型,装不下长文本的 KV 缓存。一段两万字的材料,KV 缓存可能比模型本身还占地方。目前的做法是滑动窗口、分层压缩和检索式外挂,各有取舍,还没有统一答案。
第三是多模态。图像和视频的编码器参数量不小,加上视觉 token 数量多,端侧算力和内存压力会再上一个台阶。现阶段多数产品是"本地做轻量视觉、云端做重理解",纯本地的多模态还有距离。
一句话概括:端侧大模型已经从演示走到量产,但它的天花板由内存带宽和散热决定,而不是由参数规模决定。谁能在同样的功耗预算里把每个 token 搬得更少,谁就赢下这一轮。
再补充一个观察:端侧模型的竞争,正在从"谁的模型更小"转向"谁的系统更省"。同样的模型,配合不同的内存管理、调度策略和算子实现,实际续航能差出一倍。