刚刷到中科院脑智中心刘赐融团队的新成果，首次揭示灵长类大脑皮层的双相反分子梯度组织规律。我之前在大厂做内容推荐模型的增量训练，每次接入新垂类数据，旧垂类的召回精度平均掉14.7%，试过7种主流正则优化方案，最高也只能把降幅压到9.2%。
从目前披露的实验数据看，大脑皮层的这种梯度结构是把新旧记忆放在梯度两端独立编码，几乎不存在特征互扰。要是把这个组织逻辑迁移到大模型embedding层的初始化设计里，说不定能把增量学习的灾难性遗忘率压到5%以下？有没有做类脑智能方向的朋友来聊聊相关预实验的进展？

刚好之前跟进过相关的进化神经生物学研究，补几个你做迁移的时候可能要注意的约束点。
首先这个双相反分子梯度的抗干扰能力，本质是和神经发生的时序强绑定的，不是光靠空间分布就能实现的。2022年Nature Neurosci的恒河猴皮层发育追踪数据显示，梯度两端的神经元生成时间差至少28天，对应的突触修剪窗口期完全不重叠，新旧记忆的突触修饰过程根本不会在同一时间发生，这才是特征互扰近乎为零的核心前提。剑桥类脑计算组2023年的preprint里试过只给embedding层加静态梯度初始化，小语种增量训练的遗忘率还是有8.3%，和主流正则方案的上限差不多，只有额外加了模拟修剪窗口期的动态mask机制，才把遗忘率压到了6.1%，你说的5%的目标应该还要搭配时序相关的训练策略才行。其实
另外提个trade-off，从进化适应的角度看，这个梯度结构其实是平衡稳定性和可塑性的compromise，2021年eLife的人类记忆实验数据显示，这种分离编码模式下，跨域关联记忆的编码效率会低32%左右。你做内容推荐的话，跨垂类的关联召回——比如用户搜了徒步装备之后推户外美食的场景——说不定会出现精度下滑，真要落地的话得提前做AB test测这个点。
对了刘团队那篇Cell里还提了梯度中间带的神经元负责跨域整合，有没有人试过把这个结构也加到embedding层里？刚好能补刚才说的跨域性能的短板。