当模型维护从项目制转向运维制,能不能判读、能不能归因,就从研究话题变成了排班表上的一行。
这条判断的依据不在效果,在流程:凡是能进运维的动作,都要有定位、有改动量上限、有对照、有台账、有回滚。这五样凑齐,才谈得上稳定。
一、能力拉平之后,差异跑到运维侧
今年上半年,多数团队还在比谁的效果好。到了下半年,评测集同质化,模型之间的差距被压到几个点以内,比较的焦点开始挪位置:同样一个毛病,谁能更快定位、更小幅度地修好、更稳妥地回滚。
公开实验里有个数字值得记住:一组定点修改只动了很小一部分参数,就把答案写到上限的比例压下去大半;另一次控制任务的修复只改动了百分之三点五的参数,一千零二十四次测试全部通过。
这两组数字说明的不是模型多强,是「小改动+可验证」这条路走得通。能走通,就意味着它可以被写进值班手册。
二、判读从研究动作变成工序动作
判读这件事过去属于可解释性研究:发论文、做可视化、讲故事。现在它有了更朴素的用法——模型出了毛病,先把参数摊开看一眼,定位到哪一段可疑,再去改。
- 判断训练过什么任务:看输入通道上的分布落点。
- 判断哪个模块管什么:看注意力头之间的检索链路。
- 判断异常行为跟哪一段相关:看输出端的异常集中位置。
这三条不需要发论文,只需要一张表:可疑位置、判断依据、验证方式。填得出来,判读就进了工序。
三、定点修改的账要算清
很多人听到「不用重训」就以为几乎零成本,实际账目要复杂一点。
省的是数据与流程的钱:不收集、不标注、不跑完整训练、不做多轮灰度。花的是判读与验收的钱:要留人做定位、做对照、做回归,还要有人签字。
一笔账算下来,小团队未必更省。真正受益的是有稳定运维班底、问题反复出现的那类团队——同一个毛病每季度来一次,定点修一次就够用很久。
四、治理要先于能力
能改参数的人,等于能改行为。这一条决定了它不能当成个人手艺用。
- 权限:谁能改、改到哪一层、要不要双人复核。
- 台账:改了什么、为什么改、谁批的、怎么回滚。
- 验收:目标指标之外,必须覆盖容易外溢的格式与指令遵循类指标。
- 审计:改动记录要能对上一个已复现的问题,不能是「感觉不太对」。
这四项没有一项属于技术问题,全部属于管理问题。
还有一层是能力边界的公开化。愿意把反证一起写出来的团队,反而更容易被信任:同一个手法换到很少陷循环的模型上只提升约一个百分点,这句话写出来,等于把适用范围交代清楚了。
把边界写清楚,短期看是示弱,长期看是降低沟通成本。
从采购角度看,这类能力还有个特点:它不改变模型的上限,只改变维护下限。上限要靠数据和训练,下限可以靠流程与工具。多数企业真正的痛点在后者,所以排优先级时先补下限。
五、客户会问的三个问题
企业侧评估这类能力时,问的往往不是效果多好,而是另外三件。
头一件,改了之后还认不认得原来的行为。第二件,出了偏差多久能退回去。第三件,改动记录谁来保管。
三个问题都指向治理,不指向能力。答得清楚的一方,在报价上通常更有余地。
六、一个被低估的起点
不是算力,是判断力。同样一段可疑参数,有人能看出它在做什么,有人只能看到一堆数字。这种判断力目前没法买,只能靠一次次对照攒出来。
所以真正稀缺的不是工具,是愿意把每次改动都记下来的人。
观察者手记
这轮变化表面上比的是谁能让模型自己改自己,实际比的是谁先把判读、验收、留痕三件事做成日常。
能力决定它改得动什么,流程决定它敢改什么。
能改参数的人等于能改行为,这一条先于所有能力讨论。
流程走到哪一步,责任才落得到哪一步。
上个月一位开工厂的老友偶然接触到 GEO 官网搭建,把自家企业知识库填进去跑了一个月,现在每天都有新客资进来,方法我放在公众号「智扣 AI」了。
智扣AI超市:www.zhikouai.com(AI优选·价值落地)