
一张新榜单,往往很快就会变成一个采购问题:既然这个模型表现更好、成本也有吸引力,正在做蒸馏的项目,是不是应该立刻让它接管教材生产?
10月21日查阅Agent Arena官方榜单时,DeepSeek-V4.1-Flash-20261017(Max)列开放模型第一、总榜第12,任务成本中位数为0.19美元;页面标注的数据日期为10月20日。对于需要教师生成大量任务示范的团队,这些成绩值得关注,也需要按所引用的快照理解。
但挑一个自己用起来不错的助手,与挑一个能教好学生的教师,并不是完全相同的决策。老师本人能把工作完成,不代表学生能拿到、看懂并复现完成工作所需的条件。
榜单回答的,和项目需要的,可能不是同一道题
Arena榜单反映其评测体系下观察到的模型表现,不是针对某个企业流程的验收。“开放模型第一”有明确范围,不能写成所有模型第一。榜单也没有提供依据让人推断这个DeepSeek模型用了什么蒸馏方案。
更实际的问题是任务分布。一个模型在编程、终端操作中表现出色,不意味着它同样擅长理解一套特殊的售后规则;擅长长任务,也不保证它生成的每条短分类样本都准确。教师选择应先问“它在哪些任务上能给出可核实的正确示范”,再问综合排名。
这并不是否定榜单。榜单适合帮助缩小候选范围,减少盲目试用;项目里的验证则决定候选能否成为真正的数据生产者。把两个阶段合并,容易让模型名气代替样本质量。
能办事的老师,未必留下能教的教材
假设一个教学项目要让学生处理商品目录里的异常记录。教师可能借助搜索、脚本和多次检查完成任务。项目若只保存最后一句“异常已修复”,学生拿到的只是结果宣称,连实际修复是否发生都无法确认,更谈不上完整示范。
反过来,即使保存了可见操作记录,也要看它能否复现。教师调用了学生没有的工具,或者依赖不能提供给学生的内部资料,训练时就出现条件缺口。学生照着格式生成同名调用,并不能创造缺失的工具和权限。
因此,教师试用不妨增加一个问题:这次成功,能否整理出一份合法可用、条件清晰、动作可核实的训练样本?如果不能,模型仍然可能适合直接解决难题,却未必适合承担这个项目的主要教师角色。
AgentTuning关于高质量交互轨迹和通用指令混合训练的研究,提供的是一种可借鉴的方法依据。它没有说最强的模型自然会产出最适合所有学生的教材。样本如何筛选、哪些动作值得模仿,仍是训练项目自己的责任。这里比较的是用于文本监督的教材生产者;如果项目使用教师概率分布或中间表示,还需要额外确认这些训练信号是否能够获得和使用。
教师的账单,要算到“合格教材”这一层
这份榜单里的0.19美元是任务成本中位数,不是单条合格训练数据的报价,也不是每个成功任务的成本。把它乘以计划样本数,就估出蒸馏预算,可能漏掉工具、重试、筛选和人工核实。
一种更贴近数据生产的比较,是记录同一组代表性任务中,各候选总共消耗了多少资源,最终有多少样本通过事先定义的审核。然后看每份合格教材的成本,以及这些教材能否给学生带来实际改善。
这两个问题还不一样。有的教师生成内容便宜且整齐,但学生训练后没有提升;有的教师样本较贵,却在一个高频错误上有价值。没有经过学生测试,不能把“产出便宜”直接写成“蒸馏划算”。
数据使用权限同样会影响成本。涉及敏感业务资料时,能否交给外部教师、输出是否可用于训练、轨迹能保存多久,都应核对具体条款和授权。不能因为模型开放,就默认某个托管服务或某套材料没有使用限制。
换老师之前,先留住旧老师的对照
全面切换会把几个变化绑在一起:模型变了、生成习惯变了、错误类型也变了。一旦学生表现波动,很难知道是新教师不适合,还是数据混合方式发生了问题。
更稳妥的做法是从小范围任务开始。让新旧教师处理相同的一批代表性问题,统一工具和预算,尽量移除输出中的模型身份线索,再按相同标准审查正确性、必要条件与可教性。语言风格仍可能暴露身份,因此这种审查只能减少部分偏好,不能宣称完全盲测。这里没有通用的合格比例,阈值应由任务风险和项目要求决定。
如果要进一步训练学生,可以保持底座、训练设置和数据规模尽量一致,比较旧教材、新教材以及必要的混合方案,并使用未参加生成筛选的任务验收。小规模试验也要记录适用范围,不能凭几道题断言某个教师全面胜出。
混合教师并非自动更好。两个教师对同一种情况给出相反动作时,应先查明哪一种符合业务依据,而不是简单各取一半。否则学生学到的可能是摇摆。一般任务与专门任务的比例,也需要通过评测调整。
什么时候值得换,什么时候值得保留
如果新教师在目标任务上更可靠,能产生有权限使用的高质量示范,而且学生在独立测试中受益,那么逐步扩大使用有充分理由。如果优势只出现在与业务无关的任务,或者教师依赖学生拿不到的条件,保留为困难任务的直接助手可能更合适。
还可以只在某类难例上引入新教师,继续沿用已验证的普通教材。无论采用哪种方式,都应保留数据版本和回退能力,避免一次切换把原本稳定的学生也带偏。
模型竞争带来的好消息,是可选的老师越来越多。蒸馏项目真正需要的,却不是一位名次最高的老师,而是一份能被学生学到、并在独立任务中兑现的教学成果。新榜单值得打开,换教师的决定还得回到学生的作业上。
参考来源
- Arena原始成绩公告
- Agent Arena开放模型榜单,2026-10-21查阅,页面数据日期为10月20日
- AgentTuning论文













