一个大模型，究竟怎样从“会说话”变成“能工作”？

把模型想象成一名新员工

预训练像完成长期通识教育，让模型学会语言、知识和基本推理；微调像岗位培训，让它熟悉公司的任务、语气和输出格式；评测像考试；量化像把厚重的资料压缩进更小的行李箱；部署则是安排工位、工具、排班和服务窗口。

任何一环做得不好，最终体验都会受影响。模型能力强，但部署资源不足，用户仍然会觉得慢；部署很快，但数据和任务没有对齐，模型仍然会答非所问。

核心认识：我们交付的不是一个模型文件，而是一套持续运行的 AI 系统。

它在学习什么

最常见的目标可以简单理解为“根据前文预测下一个 Token”。重复数万亿次后，模型逐渐学到词语关系、语法、事实模式、代码结构和部分推理能力。参数是这些规律的压缩表示，不是可以逐条查询的百科目录。

为什么训练昂贵

训练要保存权重、激活值、梯度和优化器状态，还要对大量数据反复计算。模型越大、序列越长、批次越大，对算力、显存、网络和数据吞吐的要求越高。

数据质量为什么比数量更重要

低质量、重复、冲突或带有隐私的数据会直接影响模型行为。数据治理至少包括去重、清洗、质量分类、版权与隐私检查、领域配比和污染检测。

一家拥有很多专家的咨询公司

假设公司有 256 位专家。遇到法律问题，不需要 256 人全部参加，而是由前台把问题分给最合适的几位。MoE 中的 Router 就是前台，Expert 是不同专家。这样可以扩大总参数容量，同时控制每个 Token 的实际计算量。

总参数与激活参数

总参数决定模型需要存放多少权重，激活参数更接近一次前向计算实际使用的规模。因此，“284B 总参数、13B 激活参数”不等于只需要存储 13B，完整权重仍要放在设备或多机系统中。

MoE 的代价

路由可能出现专家冷热不均，需要负载均衡训练；跨设备调用专家会增加通信；并发和批处理不足时，理论计算优势不一定完全转化为用户速度。

后训练不是一种算法，而是一组阶段

为什么先 SFT，再做偏好训练

SFT 先给模型一套可模仿的范例，让它知道“合格答案长什么样”；DPO 或强化学习再帮助模型在多个可行答案中做更好的选择。只有偏好、没有基本能力，就像只给员工绩效标准，却没有教工作流程。

后训练也可能让模型退步

数据过窄会造成过拟合，学习率过高可能导致灾难性遗忘，安全训练过强可能导致过度拒答。因此每次训练都要同时检查目标能力、通用能力、安全性和格式遵循。

四种方案解决四类问题

LoRA 为什么流行

全参数微调会更新整个模型，成本高且容易影响原能力。LoRA 只训练少量新增参数，可以把它理解为给已有大脑加一本岗位手册。QLoRA 进一步以量化底座降低训练显存。

微调真正难的是数据

一条高质量样本要说明输入是什么、期望输出是什么、边界在哪里。重复模板、错误答案和互相冲突的规则，会让模型学到错误习惯。训练集、验证集和测试集必须分开，防止模型“提前见过考题”。

第一步：先选对训练方式

第二步：在控制台完成配置

一套稳妥的入门配置思路

先准备 100–500 条人工复核的代表性样本做小实验；Epoch 从 1–3 开始；学习率采用平台对当前模型的推荐值；保留约 10% 验证数据。它不是固定答案，目标是先建立可重复基线，再依据验证集调整。

一次请求分为两段

Prefill 是完整读取问题和历史对话，像考生先审题；Decode 是逐个生成新 Token，像开始一字一句写答案。首个字迟迟不出现，要重点检查排队和 Prefill；开始输出后很慢，要重点检查 Decode、显存带宽和调度。

KV Cache 是当前对话的草稿纸

系统会保存已经计算过的中间结果，避免每生成一个 Token 都重算全部历史。这能加速生成，却会消耗显存。上下文越长、并发越高，需要的“草稿纸”越多。

为什么上下文窗口不能只看宣传数字

模型理论上支持很长的上下文，不代表当前硬件能够在目标并发下稳定承载。长文本会增加 Prefill 时间和 KV Cache，占住服务槽位，让后续请求排队。

先建立直觉

FP16 像保存高清原图，INT8 像适度压缩，INT4 或 NVFP4 像更强压缩。文件和显存占用下降了，细节也可能发生变化。模型不同、任务不同，对压缩的敏感度不同。

精度通常会损失多少

不存在适用于所有模型的固定比例。Red Hat AI 等机构对 Llama 3.1 系列进行超过 50 万次评测的研究显示：FP8 W8A8 在其测试范围内基本无损；调优良好的 INT8 W8A8 平均每项任务约下降 1%–3%；W4A16 INT4 在该研究中与 INT8 接近。这个区间不能当作项目承诺值，小模型、长上下文、代码、数学和工具调用可能更敏感。

量化后必须重新考试

至少重测领域问答、代码、数学、长文本、Tool-call、结构化输出和安全边界。某些任务平均分变化不大，但关键业务样本可能显著退化。

两种常见分工方式

Tensor Parallelism（TP）像几个人一起切同一盘菜：同一层计算被拆到多个设备，需要频繁同步。Pipeline Parallelism（PP）像洗菜、切菜、炒菜的流水线：不同设备负责不同模型层，请求依次通过。

三台机器不是三倍速度

如果三台设备共同承载一份模型，任何请求都需要三台协作。增加设备首先让模型“装得下”，不一定让单个请求线性加速；每次跨机通信还会带来等待。

DeepSeek V4 Flash 案例怎么理解

当前项目用三台 DGX Spark 组成一个流水线实例，模型层分段运行。这个方案的核心价值是让超大模型在本地可用，而不是替代高并发云服务。8K 受控输入线代表已验证边界，不等于模型理论上下文上限。

把开放程度拆成七层

不要只问“它开不开源”，要问“开放了哪一层，我获得什么权利，又承担什么义务”。

三个模型样本怎么比较

这张表是结构化判断，不是法律意见；版本变化时必须回到官方仓库和许可证核验。

开放不等于免费

模型权重不收费，本地运行仍然需要 GPU、网络、电力、机房、工程和运维投入。许可证宽松，也不自动消除训练数据版权、输出责任、隐私和行业合规风险。

性能不能只看一个数字

用矩阵测试真实业务

把输入长度、输出长度、并发数、任务类型和量化版本组合起来测试。短问答、长文档、代码、工具调用和结构化输出不能互相代替。历史配置的成绩也不能直接外推到新版本。

从试点到生产的三道门