最近看到一篇研究,讲的是哥伦比亚航空法规的问答系统。他们用的是 Gemma1.1 2b。20 亿参数。不是 7000 亿,不是万亿级别,是那个在模型排行榜上连名字都不会出现的数字。
他们手里有 24,478 对专家标注的问答。每一对都经过航空法规领域的人验证。最终这个 2b 模型在特定任务上的表现,超过了不知道大多少倍的通用模型。
24,478。不是 2400 万,不是 24 亿。两万多个经过专家审核的问答对,加上一个不到 2G 内存就能跑的模型。
这个实验的结论比实验本身更有意思。它暗示了一个正在发生的范式转移,而大多数人还在参数竞赛的旧叙事里。
参数竞赛的天花板
过去两年,整个行业默认一个前提:更大的模型等于更好的结果。OpenAI 推 GPT-5,Google 推 Gemini Ultra,Anthropic 推 Claude Opus,每个发布都像在比谁的数字更大。
这个逻辑有问题。
更大的参数意味着模型能在训练时见过更多的表面模式。它不意味着模型能在某个专业领域做出更精确的判断。就像一个百科全书式学者去当法官。他知道很多案例,但他不知道这条具体法条在你这个省的具体适用方式。
航空法规不是通用语言理解问题。它是一套密度极高的专业术语体系,每一条规则都依赖其他规则的定义。一个 2b 通用模型面对这种文本,大概率会把”适航性认证”和”运营许可”混为一谈。因为在它的训练语料里,这两个词经常出现在相似的上下文中。
但如果你给它 24,478 对正确的映射关系,它就学会了区分。
不是因为它变聪明了。是因为你给了它正确的地图。
瓶颈从参数转移到数据
这背后的数学很简单。模型的表达能力由参数数量决定。模型的准确性由训练数据的质量决定。当参数已经足够覆盖目标领域的复杂度时,继续增加参数只是在做无用功。
2b 模型处理航空法规,就像一把小刀切西瓜。刀不大,但够用。问题不在刀,在你知道从哪里下刀。
“从哪里下刀”这个知识,只能通过专家标注来获得。
这里出现了一个关键的转移:AI 系统最有价值的资产,从权重文件变成了数据集。
权重文件是通用的、可复制的、可下载的。HuggingFace 上任何一个人都能拿到同样的 2b 权重。那个 24,478 对的问答集是别人一行一行标注出来的。你拿不到,除非你自己也花同样的力气。
这种不对称性改变了竞争的格局。
专家从用户变成架构师
人的角色在变。
在通用模型时代,领域专家是用户。他们打开 ChatGPT,输入问题,得到答案,然后判断答案对不对。这种模式的问题在于,判断本身就消耗了专家的精力,而且每次判断都是独立事件,不会让模型变得更好。
微调模式下,专家变成架构师。他们不再回答单个问题,而是定义问题的结构。哪些问答对值得标注,哪些边界情况必须覆盖,哪些模糊地带需要特别澄清。
专家是工具的设计者。
这种角色的转变意味着,AI 能力的上限不再由模型提供商决定。它由你能找到多少愿意投入时间做标注的专家决定。
这对普通团队意味着什么
如果你不是 OpenAI,没有几千张 H100,你该怎么办?
别比参数,比数据。
一个 7b 模型配上 5000 个高质量标注,大概率比一个 70b 模型配 50 个标注在你的领域表现更好。这不是猜测。已经有实验反复验证过这个结论。
具体怎么做。
先选定一个足够窄的领域。不要做”法律咨询 AI”,做”上海市劳动合同纠纷咨询”。领域越窄,标注的效率越高,专家不需要在无关的问题上浪费时间。
然后找领域专家一起设计标注框架。不是让专家直接写问答对,而是先一起定义什么是好答案、什么是坏答案、哪些情况最容易出错。这个框架比具体的标注数量更重要。框架决定了标注的一致性。
接着才是标注。不需要几万条。先做 500 条,跑一轮评估,看看模型在哪里犯错,然后有针对性地补充。迭代比一次性标注完更有效,因为你可以通过模型的错误模式来反推数据缺失的位置。
最后,部署一个你能负担得起的最小模型。不要上 70b,除非你确实需要 70b 的通用推理能力。在你的窄领域里,2b 到 7b 大概率够用了。
一个更诚实的竞争方式
参数竞赛的叙事有一个隐含的假设:AI 能力的进步主要来自算力。谁有更多 GPU,谁就有更好的模型。
退一步看,算力只是让模型能吞下更多的通用语料。决定专业场景表现的,是领域知识的密度和质量。
24,478 这个数字不大。但它代表了两万多次人类专家的判断。这些判断是模型无法从通用语料中提取的。它们不是”知识”,是”理解”,是在具体情境中做出的精确区分。
当我们说”小模型能吃掉密集的专业法规”时,主语不是小模型。主语是那个提供了 24,478 对问答的专家团队。
模型只是翻译器。专家才是作者。