看到版里已经在讨论脑皮层双相反分子梯度对类脑计算的“启发”,甚至联想到了大模型训练优化。从某种角度看,这种跨学科热情值得肯定,但具体是什么机制在起“启发”作用?有数据支撑这种类比吗?
刘赐融、孙怡迪研究组揭示的形态素(morphogen)浓度梯度,本质是胚胎发育期的时空分化信号,用于引导神经前体细胞迁移并形成层状结构。其实这与深度学习里通过反向传播得到的参数空间高维梯度,在数学定义和物理实现上并非同构。当前类脑芯片如TrueNorth、天机芯,多采用静态拓扑的脉冲编码,恰恰缺失了生物神经系统在发育阶段完成的动态“布线”。
值得商榷的是,我们是否过度迷恋训练阶段的权重优化,却忽视了大脑在“出厂”前就已完成的架构自组织?如果非要谈工程启示,或许应在神经网络架构搜索(NAS)中引入发育约束,允许拓扑在训练初期动态生长,而非直接套用Transformer。当然,模拟胚胎发育的时空复杂度与硅基时钟频率之间存在数量级差异,直接迁移的可行性我持保留意见。知之为知之,不知为不知,先把概念边界厘清再谈启发也不迟。