AI终身学习新解法：成功经验自蒸馏进权重，交互轮数直接减半(AI技术助推中国自动驾驶落地)|科技 |轨迹 |成功率 |轮数 |成功经验 |模型

AI终身学习新解法：成功经验自蒸馏进权重，交互轮数直接减半(AI技术助推中国自动驾驶落地) ypxx.net

ASCENT团队投稿

量子位 | 公众号QbitAI

LLM智能体如何在部署过程中，通过自身执行持续进化？

来自澳大利亚新南威尔士大学（UNSW）Artificer AI Lab的研究团队，给出了一个新答案：

不止于上下文、harness和提示词，而是进入模型权重。

他们尝试让LLM智能体以冻结的初始自身充当教师，带着hindsight（后见之明）把经验自蒸馏进模型权重。

每个任务只执行一次，只有通过验证的经验才会触发更新；无需参考答案，也无需更强的教师模型。

该方法被命名为ASCENT（Agentic Self-distillation for Cross-task EvolutioN at Test-time）。在ALFWorld和WebShop上，ASCENT基于Qwen3.5-4B和9B的成功率均比基座模型高出22个点以上。

自进化智能体：经验大多存在「模型之外」

现有的自进化智能体（self-evolving agents）大多把反思、记忆或技能以文本形式存放在harness（执行框架）里，模型本身保持冻结。

于是每一次提升都取决于两件事：能否检索到对的那条经验，以及冻结的模型能否在长程交互中真正照着执行。

而参数化的智能体学习，通常需要离线训练，或者对同一个任务进行多次尝试（multiple rollouts）。

由此，一个核心问题浮出水面：部署中的LLM智能体，能否一边工作、一边把自己通过验证的经验转化为权重更新；在线、持续地学习，每个任务只执行一次？

难在哪？每个任务只有一次机会，直接模仿或强化都会让策略崩溃

团队研究的这一设定，叫作在线智能体测试时训练（Online Agentic Test-Time Training，OaTTT）。难点在于：

单次尝试：和harness层面的自进化一样，任务流只过一遍，每个任务只执行一次，只在结束时得到一个成功/失败的验证信号，没有逐轮奖励。
噪声无法平均：每次更新只来自一条轨迹，其中的噪声无法被平均掉。
策略崩溃：直接模仿（RFT）或强化（REINFORCE）智能体自己生成的token，会让策略崩溃——越来越偏离初始模型，无效动作越来越多，在任务流后半段的成功率甚至低于未训练的基座模型。

△在线逐episode更新时的训练动态：直接模仿或强化的基线越来越偏离初始模型、有效动作率下降，ASCENT最贴近初始模型，有效动作率保持不降

一句话：直接拿自己生成的token当目标，单条轨迹里的噪声会被一步步放大成过拟合和策略漂移。

ASCENT：只学通过验证的经验，用「hindsight」自蒸馏进权重

ASCENT换了一个思路：把通过验证的经验及其hindsight（后见之明）自蒸馏进权重。

△ASCENT总览：每个任务只尝试一次，通过验证的轨迹成为冻结教师的特权信息，教师的软目标更新LoRA快权重，带到下一个任务四个核心设计

它的设计可以拆成四个要点：

验证经验：只有通过验证的episode才触发更新，失败的直接跳过。团队也坦言，如果能把失败也利用起来，或许会更好，但暂时发现数据稀释的时候不方便用。
Hindsight teacher：教师是LLM的一个稳定版本，也就是它冻结的初始自身。教师把整条成功轨迹作为特权信息（privileged information）读入（“目标已达成，以下是成功的动作序列……”），再沿着智能体自己生成的回复，在每个位置给出完整的下一个token分布。
自蒸馏：学生（基座+LoRA快权重）用前向KL向这些软目标靠拢。教师更认可的候选token概率上升，教师不认同的token概率下降，而不是简单地让自己生成的token变得更可能。
动作有效性过滤：环境没有执行的无效动作轮次，会从教师看到的轨迹中去掉，得到更干净的hindsight；但学生仍在这些位置上训练，因此无效动作会被压低。整个过程不需要逐轮奖励，也不需要信用分配（credit assignment）。

△示意动画：任务98只尝试一次→通过验证→教师带着hindsight读入成功轨迹→把经验蒸馏进LoRA快权重；之后的任务135上，ASCENT用20轮完成为什么教师要冻结

为什么教师要冻结？一个跟着学生变化的教师，会把学生的漂移当作后续任务的目标再喂回来。实验中，一个快速跟随学生的指数滑动平均（EMA）教师，成功率从任务流前段的48.6%跌到后段的2.9%。随策略同步更新的（on-policy）教师当然更理想，但在在线场景中，很难把握它与稳定性之间的平衡。

能力不断累积

更新后的模型带到下一个任务，能力不断累积。无需参考答案，无需更强的教师模型，推理时也无需检索记忆。

上下文自适应（in-context adaptation）与权重能否共同进化？可以。初步实验中，把ASCENT加到两种上下文自适应方法（ACE、MemP）上，两者都得到了提升。

△初步共同进化：把ASCENT加到ACE、MemP上，两种上下文自适应方法都得到提升（虚线为ASCENT单独的成功率）实验：ALFWorld、WebShop成功率都提升超22个点实验设置

团队在Qwen3.5-4B/9B上，与12种在线和离线自进化方法（MemP、ACE、ReasoningBank、GEPA等）比较，覆盖三个长程智能体基准：

ALFWorld：文本形式的家务任务，需要在房间里寻找、清洗、加热、冷却并放置物品。
WebShop：在一个有118万件真实商品的模拟网店中，搜索并购买符合指令的商品。
AppWorld：交互式编程，调用9个日常App的457个API来完成任务。

主要结果

在ALFWorld和WebShop上，两个模型规模的成功率都比基座模型高出22个点以上：ALFWorld 46.4→69.5（4B）、55.0→77.4（9B），WebShop 17.8→41.9（4B）、17.2→41.5（9B）。在这两个基准上，ASCENT都是所有对比方法中最好的，交互轮数也最少。

△ALFWorld任务流上的成功率与平均交互轮数对比（加粗为最优）

△WebShop上的Strict-SR、Mean-Score与交互轮数对比（加粗为最优）

越往后收益越大：收益和交互效率都随任务流推进而增大。
轮数更省：在基座模型也能解出的任务上，ASCENT在64%（4B）和67%（9B）的任务上用的轮数更少。

△随任务流推进，ASCENT相对基座的成功率提升（上）和节省的交互轮数（下）都在增大（浅色4B，深色9B）

迁移到新房间：迁移到未见过的ALFWorld房间（权重冻结），成功率43.3→62.7（4B）、49.3→88.8（9B）。
交互式编程：AppWorld（4B，Test-Normal）任务完成率20.2→26.2。

△迁移到未见过的ALFWorld房间：浅色为冻结权重直接迁移，深色为继续在线学习，ASCENT分别达到62.7/78.6（4B）和88.8/90.0（9B）一个例子：把冷却过的鸡蛋放进微波炉

更有意思的是一个例子：“把一个冷却过的鸡蛋放进微波炉”（put a cool egg in microwave）。

基座模型和几种上下文自适应方法都耗尽了50轮：有的检索到一条“生鸡蛋放进微波炉可能会爆炸”的记忆，被带偏了方向；有的上下文里明明有正确的规则，却始终没有执行“冷却”这一步。

ASCENT没有检索任何记忆，用20轮完成了任务。它的权重此前吸收过两个同类任务的经验：冷却番茄后放进垃圾桶、冷却盘子后放进柜子。物体和目的地都不同，但“找到→冷却→放置”的结构是一样的。

△案例：基座模型与上下文自适应方法耗尽50轮，ASCENT不检索任何记忆，20轮完成任务消融实验

消融实验进一步拆解了特权信息的组成：动作（action）、推理–动作回复（reasoning–action response）和环境观察（observation），并分别对比用与不用动作有效性过滤。

△特权信息消融：不同组成、是否过滤下的成功率、交互轮数与有效动作率（阴影行为ASCENT的默认设置）

推理最关键：特权信息里最关键的是推理过程，只给动作的hindsight，效果接近甚至低于基座模型；加入推理后，成功率和交互效率都稳定提升。原因可能在于，推理解释了每一步动作为什么这么做（比如服务于哪个子目标），而且学生生成的token大多是推理，动作只是一条很短的指令，只给动作的hindsight能覆盖到的训练位置很少。
小模型更需要精简、过滤过的特权信息：在4B上，更短（只含推理与动作、不含观察）且经过过滤的特权信息效果最好，交互轮数也最少；特权信息含推理时，过滤在这个规模上帮助最大。在更强的9B上，提供完整轨迹（含观察）同样表现很好，可能得益于更强的通用语言能力；此时过滤对成功率影响不大，但仍能提高有效动作率。不加过滤时，观察可能通过显示哪些动作被环境判为无效而起作用；过滤去掉这些轮次后，观察的额外作用就不大了。ASCENT的默认设置（推理+动作，加过滤）在9B上表现相当，交互效率略好。
完整轨迹更好：用完整轨迹作为hindsight，明显优于只看当前一轮的教师（TT-OPSD）。
散度可替换：把前向KL换成反向KL或Jensen–Shannon（JS）散度，ASCENT在两个模型规模上仍然优于基座。