标签:"JTok"相关文章

Transformer 架构还能咋改?严骏驰团队提供两条思路 | CNCC 2026(transformer架构理论)

Transformer 架构还能咋改?严骏驰团队提供两条思路 | CNCC 2026(transformer架构理论)

在题为《大模型新架构探索:JTok & xHC》的报告中,严骏驰介绍了两项工作:JTok 为 token引入可学习的参数表,通过查表和逐元素运算调制模型更新;xHC 则扩展残差流,以稠密读取、稀疏写回的方…...