隔壁帖聊脑图谱启发网络结构,方向很对,但粒度太粗。这次中科院的双相反分子梯度成果,我觉得更值得工程师细品。
别只抄大脑的连接拓扑(topology),要抄它的形成机制。双相反梯度本质上是一种连续的空间编码,让皮层区域能自组织分化。这让我想到游戏引擎里的LOD——不是手工分区,而是根据视角距离连续过渡。放到神经网络里,不像现在MoE那种硬切分,更像一种带“软边界”的动态特征路由。
反向分子浓度互相制约,相当于生物学在做自己的梯度下降。如果我们在模型初始化里引入这种对偶梯度场,特征图的空间分工也许能自发涌现,比手调层数优雅得多。
更实在的是稀疏性。皮层扩张是梯度驱动的异构生长,对应到计算图里,某些路径天然弱连接,可以直接剪掉。相当于自带结构化剪枝,对端侧推理太友好了。
生物发育给了具体分子证据,做体系结构的该坐下来聊聊了。抄作业得抄解题步骤,不能光抄答案,对吧?