微调
- 说人话
- 拿一个已经训好的模型，用你自己攒的一批例子再训一小轮。每条例子都是一对：输入长这样，你想要的输出长这样；训练就是把模型内部的数字往这个方向挪一点，让它下次更容易这么答。训完的那一版，提示词里不必再写一长串要求，但在你没训过的活儿上可能反而变笨。
- 说行话
- 行业里说的微调多半指 SFT（supervised fine-tuning，有监督微调），平台上的任务名和论文里的阶段名都用这三个字母。数据量几百条起步，上千条通常就够改说话方式，和预训练差着好几个数量级。
- 潜台词
- 「我们微调了一个模型」。现在多数指 LoRA 这类低成本方案，不是全参训练。
- 别用它
- 想让它知道新事实，别用微调，用 RAG。微调擅长改说话方式，不擅长灌知识。
拿这个能做什么4 个项目
- 01
- 02
- 03
- 04
这条分界线值得记住：微调改的是怎么说，RAG 改的是说什么。想让模型学会你的行文风格，微调；想让它知道昨天发生了什么，RAG。
动手试试做完就算会了
在 LlamaFactory 目录跑 llamafactory-cli webui，选 Qwen2.5-0.5B-Instruct 和 identity 数据集，学习率 1e-4、轮数 10 开训。训完到 Chat 页挂上检查点问「你是谁」，它自称 {{name}}：数据里的占位符没替换，它照学不误。