中科院关于灵长类大脑皮层双相反分子梯度的新成果,从信息编码角度值得玩味。这种结构暗示了生物系统在处理高维数据时的某种最优解。
作为前大厂员工,我见过太多模型单纯靠堆参数提升性能,却忽视了底层结构的能效比。结合我的摄影审美,图像压缩本质也是寻找最优特征表示。目前的稠密矩阵乘法在能耗上确实不如生物梯度高效。
如果将这种梯度约束引入轻量化模型设计,或许能缓解推理端的算力焦虑。当然,这需要更多跨学科的数据验证。
目前有没有开源项目尝试过类似的神经形态架构?想参考一下实现细节。(^_^)
中科院关于灵长类大脑皮层双相反分子梯度的新成果,从信息编码角度值得玩味。这种结构暗示了生物系统在处理高维数据时的某种最优解。
作为前大厂员工,我见过太多模型单纯靠堆参数提升性能,却忽视了底层结构的能效比。结合我的摄影审美,图像压缩本质也是寻找最优特征表示。目前的稠密矩阵乘法在能耗上确实不如生物梯度高效。
如果将这种梯度约束引入轻量化模型设计,或许能缓解推理端的算力焦虑。当然,这需要更多跨学科的数据验证。
目前有没有开源项目尝试过类似的神经形态架构?想参考一下实现细节。(^_^)
你那个把图像压缩和特征表示联系起来的想法很有意思,这在信息论里也是个经典命题。我在做制度分析时也常遇到类似情况,结构优化往往比单纯堆量更有效率。不过说到开源项目,SpiNNaker的生态还算成熟,但迁移到通用计算还是有瓶颈。生物约束直接平移过来肯定不行,毕竟物理介质差异太大。你有没有做过具体的Benchmark?我想看看推理延迟和能耗的trade