番外03 - 又强又便宜的秘密
番外03｜又强又便宜的秘密
上一篇聊了推理模型"多想一会儿"。你可能注意到了一个名字反复出现——DeepSeek。这家公司2025年初突然爆火，所有人都在问同一个问题：它凭啥又强又便宜？强到跟GPT-4掰手腕，便宜到API价格只有对手的十分之一。答案藏在三个词里：混合专家、量化、蒸馏。
今天这篇番外，我们就来拆解这三把"降本增效"的板斧——看完你就能跟别人吹：为什么大模型可以又大又省钱，为什么你那台普通笔记本也能养一只私有的小硅。
🏥 混合专家：不是所有大夫一起给你看病
你去综合医院看个嗓子疼，不会100个科室的大夫一起冲出来给你看——前台分诊护士（Router）先判断你的问题属于哪个专科，然后只派耳鼻喉的专家出马。骨科、心内科、皮肤科那些大夫？该喝茶喝茶，根本不用起身。
大模型的 MoE（Mixture of Experts，混合专家）机制干的就是这件事。
DeepSeek-V3 总共有6710亿参数——相当于这家医院坐了满满一百个顶级大夫，阵容豪华到吓人。但每次你问它一个问题，门口的 Router 一判断，只从中挑8个最对口的"专家模块"出来干活，实际激活的参数只有370亿。剩下那六千多亿？安安静静待机，不耗一度电。
这就是DeepSeek又强又便宜的第一个秘密：总参数巨大保证了"全科能力"——什么问题都有对应专家；但每次推理只动用一小部分，电费账单跟一个370亿的普通模型差不多。
打个更直白的比方：你养了一整支足球队25个人，但每场比赛只需要上11个。工资（训练成本）确实得给全队发，但比赛日的体能消耗（推理成本）可控得多。OpenAI 那边是让全员上场跑满全场，DeepSeek 是轮换上阵各司其职——同样的比赛结果，体力开支天差地别。
📸 量化：原片压成缩略图，肉眼几乎看不出区别
好，MoE 让大模型"推理省钱"了。但370亿参数也不算小——你总不能把这么大个家伙塞进笔记本电脑吧？何况很多本地想跑的是70亿、140亿这种"小一号"的模型，但即使是7B原始精度也要14GB显存，普通笔记本根本扛不住。
这就轮到量化（Quantization）登场了。
想象你手机拍了张照片，原片100MB，发朋友圈前压成5MB的JPG——你仔细看可能发现远处树叶模糊了一点点，但发到群里根本没人看得出区别。量化干的就是这件事：把模型每个参数的存储精度从16位（FP16）降到4位（INT4）。
16位就像用尺子量到毫米，4位是只量到厘米。精度确实粗糙了一些，但对于"猜下一个词"这件事来说，厘米级完全够用。
实际效果：体积直接缩小4倍，推理速度快将近一倍，而模型回答问题的质量——各种测评跑下来——只掉了百分之几。这就是为什么 Ollama、llama.cpp 这些工具能让你在一台普通笔记本上跑起70亿参数的大模型——量化后，它只占3到4GB内存，你那16GB的MacBook绑绑有余，还能一边开着浏览器和微信。
👨🏫 蒸馏：师傅带徒弟，学的不是知识是手感
MoE 让大模型推理省钱，量化让小模型能塞进笔记本。但还有个问题没解决：小模型毕竟脑容量就那么点，7B的小硅凭啥能跟671B的大块头比划两招？
这就要请出第三个大招——蒸馏（Knowledge Distillation），又叫知识蒸馏。
想象一个武术师傅带徒弟。师傅不是扔一本武功秘籍让徒弟从第一页啃到最后一页，而是自己亲手打一遍套路：出拳、变招、收势，每个动作都做给徒弟看。徒弟学到的不是"第三页第五行写了什么招式名"，而是**"出拳时身体怎么发力、什么时机该变招"**——这叫"解题手感"。
DeepSeek 就是这么干的：先让 R1（那个671B的大块头老师傅）把一大堆复杂的数学题、逻辑题做一遍，把每道题的"思考过程"完整记录下来。然后让 Qwen-32B、Llama-8B 这些小模型当徒弟，不去啃海量原始文本，而是直接模仿老师傅解题时一步步推理的方式。
**徒弟学到的是
师傅的"推理节奏"，而非死记硬背一万道题的答案。** 效果立竿见影：蒸馏出来的 DeepSeek-R1-Distill-Qwen-32B，一个区区32B的小家伙，做数学推理题的水平竟然能吊打很多自己从头训练的671B模型。师傅三年功力，徒弟三个月速成——这就是蒸馏的魔力。
🔗 三剑合璧：从云端巨兽到你口袋里的小硅
现在三板斧串起来看，一条完整的链路就清楚了：
MoE 让模型在训练时"博学全能"、推理时"精准派工"——又强又省电；蒸馏 让大模型把看家本领传授给小模型——671B的脑子浓缩进32B的身体；量化 让小模型进一步瘦身——精度从16位砍到4位，体积再缩4倍。
三步走完，最终结果：一个量化后的7B或14B小模型，配上 Ollama 这样的一键部署工具，你那台16G内存的普通笔记本就能跑起来。完全离线、零API费用、数据不出本机。
这意味着你可以养一只完全私有的小硅——你跟它说的每句悄悄话、喂给它的每份公司文件，全部在你自己电脑里转，不经过任何人的服务器。 对于写日记、整理私人笔记、处理内部敏感文档这些场景，这简直是刚需中的刚需。
🎁 这一篇带走的
DeepSeek 又强又便宜的秘密是三板斧：MoE 让推理只激活一小撮专家（省钱）；蒸馏让大模型把能力"传功"给小模型（缩身）；量化让小模型精度换体积（落地）。三者合力，2025年的你完全可以在笔记本上养一只私有小硅。
下次有人跟你感慨"AI太贵了用不起"或者"本地跑大模型那是发烧友的事"，你可以淡定地丢给他一句：装个 Ollama，16G内存就够，试试看。
下一篇预告：给小硅的脑子动手术——微调（LoRA）到底怎么回事，以及AI怎么自己给自己造训练数据。