SOTA
- 说人话
- 所有人都在同一批公开题目上比分，谁发出更高的一版，这个头衔就归谁，没有裁判，也没有申请流程。所以它说的是位置不是水平：同一个模型换一个榜，可能就掉出第一排。你会在发布会的柱状图、论文表格里加粗的那一行、模型卡片的头一句话里反复读到它。
- 说行话
- State of the Art 的缩写，论文里也写作 SoTA。跟它配套的三样才是重点：基准名、数据划分（test 还是 dev）、评测设置（zero-shot、few-shot、pass@1）。任一项不同，两个数就不能摆一起比。
- 潜台词
- 「我们达到了 SOTA」通常省略了三个限定：在哪个榜、什么设置、和谁比。
- 别用它
- 别把 SOTA 当成「最适合你」。榜单第一和你的业务表现之间，隔着一整套你自己的评测。
拿这个能做什么2 个项目
- 01
- 02
SOTA 是一个保质期很短的形容词，今天的第一过几周就可能易主。别追着 SOTA 换模型，拿你自己的测试集跑一遍，差距在误差范围内就留在原地。
动手试试做完就算会了
打开 arena.ai 的 Text 排行榜，第一名那行的 Rank Spread 不是一个数，是一段区间。往下数，区间左端写着 1 的有好几个模型。Score 后面的正负几分是 95% 置信区间，区间彼此盖住的这几家，都能说自己是 SOTA。