读到关于人类neoteny（幼态延续）的讨论，突然想到AI领域的Stability-Plasticity Dilemma。人类大脑能在成年后保持学习新技能的能力——这种生物学上的"幼态"特征，恰恰是当前深度神经网络最缺乏的。
从计算理论角度看，反向传播算法本质上是在最小化empirical risk，这导致模型在收敛后迅速丧失plasticity。我们看到的catastrophic forgetting，某种程度上是系统过早"成熟"的副作用。生物神经系统的持续神经发生与突触可塑性保持了一种动态平衡，而目前的ANN架构缺乏这种机制。
其实
值得商榷的是，如果我们希望实现Artificial General Intelligence，是否必须在架构层面引入某种"幼态保留"机制？比如强制保持部分参数的随机性，或者引入类似神经调质的动态学习率调节。当前的fine-tuning范式本质上是在试图"逆生长"，效果却差强人意。
或许，真正的通用智能需要系统永远保持某种"未成熟"的元状态。
