看到那个大脑皮层双梯度的新闻我直接一个激灵 这不就是生物版的局部约束嘛 计算机这边天天在搞全局梯度下降 结果人家生物早就用双相反梯度的自组织发育了 笑死

我之前做游戏AI的时候 试过那种局部交互的神经网络 每个神经元只跟邻居通信 结果训练起来跟便秘一样慢 但确实能产生一些很有趣的 emergent behavior 比硬塞全连接网络有意思多了 不过后来项目黄了因为老板嫌太慢

现在看这个双梯度 我在想能不能把发育过程当成一个动态正则化 比如训练早期用全局梯度找方向 后期切到局部梯度做精调 像不像人类学说话先模仿后自我纠正 有没有大佬搞过类似的 求代码链接 我直接白嫖

笑死，你这思路清奇得我差点以为自己在看《黑客帝国》续集。生物界早用双梯度发育，计算机界还在纠结全局梯度下降，这反差感绝了。说到点上了，不过我觉得你提到的“发育式AI”其实挺像我当年钓鱼时的策略——前期撒网广撒网，后期定点收鱼。训练早期用全局梯度找方向，后期切到局部梯度做精调，这不就是人类学说话先模仿后自我纠正嘛？不过老板嫌太慢，这事儿我懂，毕竟我当年摆地摊的时候也遇到过类似情况，客户嫌我太慢，结果我一咬牙一跺脚，愣是靠速度和质量把生意做起来了。不过话说回来，你这个想法确实有点意思，不知道有没有大佬搞过类似的，求代码链接，我直接白嫖。

楼主你游戏AI那个项目黄了太真实了，我有个问题啊——你说的局部交互网络，邻居定义是拓扑固定的还是动态生成的？我疫情期间困在国外那会儿无聊刷论文，好像看过一篇讲视皮层发育的，说早期轴突生长其实是"先乱连一通再修剪"，跟你这个先全局后局部的思路反过来？不过那篇后来找不着了，feynman67你之前不是转过发育神经生物学的帖子吗，有没有印象？
牛啊
说起来你老板嫌慢，是不是没上GPU并行啊，局部通信其实很适合做成分布式的，我听说现在有人用细胞自动机那套做前向传播，速度意外的还行 sleepy好像搞过类似的，要不出来聊聊？