预训练
- 说人话
- 模型从零开始的第一阶段训练：把海量文字倒进去，每读到一处都先让它猜下一个词，猜错就把内部的数字往回调一点。这样重复到语言规律和常识都沉淀下来。这一步不用人工写答案，原文的下一个词就是答案，所以才喂得起这么大的量。模型标注的知识截止日期，说的就是这批语料收到哪天。
- 说行话
- 英文 Pre-training，产出的叫基座模型（base model）。模型页上带 base 的那一版就是它，直接问话只会往下续写；带 instruct 或 chat 的才是后训练过的。现在的语料规模以万亿 token 计。
- 潜台词
- 「我们有自研大模型」，多数是在别人预训练好的基座上做了微调，真正从头预训练的团队很少。
- 别用它
- 想让模型懂你的业务，别打自己预训练的主意，成本高出好几个数量级。用 RAG 或微调。
拿这个能做什么4 个项目
- 01
- 02
- 03
- 04
预训练决定模型的天花板，后训练决定它好不好用。前者是少数大厂拼算力、拼数据的军备竞赛，普通团队该做的是选对基座，而不是从头训一个。
动手试试做完就算会了
克隆 karpathy/nanochat 跑 bash runs/runcpu.sh，不必等它跑完，盯住 base_train 的日志：每 100 步打一次的 Validation bpb 先陡降再走平，它给 The capital of France is 接的下半句，也从重复的碎词慢慢变得像句子。