参数量
- 说人话
- 模型里可调的数字有多少个，7B 就是七十亿个。这个数大致决定了它装得下多少东西，也决定了要多少显存才跑得起来：按常见的半精度算，七十亿参数大约要十四 GB 显存，压缩过的版本能降到几 GB。同一个模型因此会有好几种体积，你挑的是机器带得动的那个。
- 说行话
- 下载页上带 Q4、Q8 这类后缀的是量化版（quantization），把每个参数从 16 位压到 4 位存。照这个算，7B 量化后约 4 到 5GB 就跑得起来，70B 量化后要约 40GB，按自己的显存对着挑。
- 潜台词
- 「这是个 7B 的模型」说的是体量不是水平。今天的小模型，往往比两年前的大模型更能干。
- 别用它
- 别拿参数量当选型依据。同一档参数量里，训练数据和后训练做得好不好，差距比参数量本身大得多。
拿这个能做什么3 个项目
- 01
- 02
- 03
参数量决定的是能不能在你的机器上跑起来，不是答得好不好。本地部署的顺序应该是先按显存倒推能跑多大，再在这一档里挑评测靠前的，反过来就会买了卡还是不满意。
动手试试做完就算会了
跑 accelerate estimate-memory Qwen/Qwen2.5-7B-Instruct，只读配置不下权重。float16 那行 Total Size 13 GB 出头，同行的 Training using Adam 正好是它四倍：全量训练还得给梯度和优化器状态腾地方，LoRA 省的就是这一截。