雷锋网·· 6 小时前AI 评分45
严骏驰团队在 CNCC 2026 分享 Transformer 架构改进两条思路：JTok 与 xHC
Transformer 架构还能咋改？严骏驰团队提供两条思路 | CNCC 2026
AI 导读
上海交通大学严骏驰团队在 CNCC 2026 演讲中介绍两项在 Transformer 架构上扩展容量的工作：JTok 为 token 引入可学习参数表，通过查表和逐元素运算调制模型更新；xHC 将残差流从四路扩展到十六路，采用稠密读取、稀疏写回。
来源：雷锋网 · leiphone.com