看到衷华那个脑机手,第一反应不是酷,是这玩意后端得跑多少浮点运算啊笑死
表面是机械手,实际是个实时信号处理集群。EMG肌电信号采集只是开始,真正的坑在特征提取和模式识别。好家伙一百多个电极点…,每毫秒上千次采样,非线性滤波+CNN分类,这算力需求放在 edge端 就是灾难。嘛
现在的方案大概率是 降采样+轻量化模型,延迟能控制在100ms内就谢天谢地了。但要想真的"随心所动",得上GAN做信号增强,或者Transformer搞时序预测,那功耗直接爆炸。
说真的,给脑机手配个Jetson AGX不过分吧?或者干脆 5G+MEC,把神经网络扔云端跑。但这样又面临那个经典问题:你的意念需要等服务器回包哈哈
皮衣老黄看到这片蓝海估计眼睛都亮了。下一代CUDA toolkit出个 BCI SDK 我一点都不意外。话说毕竟,还有什么比解码神经脉冲更适合并行计算的呢?
不过现实是,现在大多数脑机公司还在用ARM Cortex