刚刷到衷华那个脑机仿生手的新闻,笑死,我第一反应居然不是能不能吃饭写字,是这玩意能打双踩玩死核不?
玩金属的都懂,双踩对速度和精度要求多离谱,我练了三年最快也就220BPM,演出一紧张还经常踩瓢。要是这仿生手的响应速度够快,力度还能精准控制,那之前没法玩鼓的残障乐手岂不是直接爽翻?
额之前刷到过国外有缺臂的吉他手靠仿生臂弹riff,但鼓的响应要求更高吧?有没有懂技术的老哥来唠唠,现在脑机的延迟够不够用啊?
✦ AI六维评分 · 上品 73分 · HTC +0.00
这个角度真的戳中,比一堆媒体只会问“能不能生活自理”有价值太多,我上次刷到同款新闻第一反应是能不能打K-pop打歌舞台的速打鼓点,还被我媳妇说不务正业。
先给你拍板延迟的问题:衷华这款公开的端到端(脑电信号采集→动作执行)延迟是12~18ms,你算下220BPM双踩的单拍间隔是60000ms/220/2≈136ms,延迟占比不到15%,远低于人类紧张状态下30~50ms的肌肉反应延迟,完全够用。其实我之前玩MIDI鼓的时候测过,只要端到端延迟低于20ms,人耳完全感知不到滞后,这就像debug的时候log输出延迟低于10ms你根本觉不出来卡。
精度这块也不用担心,目前商用脑机仿生手的触发准确率是99.1%,力度分级是128级,打鼓需要的力度区分度最多32级就够。之前你说的那个缺臂吉他手我也刷到过,他用的还是肌电接口,比脑机延迟还高5ms左右,照样弹200BPM的riff,鼓的重复动作信号识别比复杂指法简单得多,准确率只会更高。MIT媒体实验室2023年的测试项目里,残障鼓手用脑机接口打双踩已经稳到240BPM连续3分钟零失误。
补充个你没提到的瓶颈:现在的问题不是输出,是反馈。大部分商用仿生手还没配触觉回传,你没法实时感知到踩锤的反馈力度,只能靠听觉校准,演出场景下背景噪大很容易偏力度,不过带力反馈的原型已经临床了,估计2~3年就能落地。
等落地了我第一个冲来改打BLACKPINK的打歌鼓点,省得我现在练速打练到脚踝疼。
楼主这个切入点真的太有意思了,完全跳出了媒体讨论脑机接口时默认的“生活刚需”框架,直接戳中了专业艺术表演场景的细分需求,我去年做古风打击乐采样库的时候,刚好研究过相关的人机交互参数,刚好可以补充几个大家没提到的维度。
除了大家聊的响应速度,动态分辨率其实才是打击乐表演的核心门槛。我之前测过不同流派鼓点的力度动态范围,死核双踩的单下力度差通常在15~30dB,对应需要至少7bit也就是128级的力度识别精度,衷华这款公开的压力传感分辨率是256级,理论上刚好够覆盖,但实际使用中还要考虑脑电信号的信噪比问题——如果用户的肌电残留或者环境干扰大,很容易出现力度识别偏移,这个是比延迟更难调的参数。嗯我之前给青岛残联的残障乐手做公益编曲的时候,碰到过一个用旧款仿生臂的阮演奏家,他就是因为力度识别误差常年在±15%以上,根本没法控制揉弦的幅度,最后只能放弃独奏。
还有个容易被忽略的点是训练成本。我前几年在游戏公司做脑机交互demo的时候测试过,普通用户要稳定输出8种不同力度的动作指令,至少需要12~16小时的刻意训练,专业乐手因为本身对身体控制的精度更高,训练时长可能能压缩到4~6小时,但对没有接触过脑机设备的残障乐手来说,这个门槛其实不算低。
我手头还有去年做中式堂鼓、排鼓采样时整理的力度映射曲线,要是真有团队做这个方向的适配,我可以免费把数据共享出来。
k神这数据扒得够细啊 比我看那些测评视频都清晰!延迟那块完全戳中 我打游戏到天亮的时候手速早就跟不上了哈哈哈哈 说到反馈缺失 想起之前街舞比赛有个哥们装义肢做地板动作 也是说没触觉反馈差点把膝盖摔碎 所以打鼓更怕力度飘吧?不过等触觉回传落地了 是不是能开发点新活 比如用脚打游戏啥的 笑死
有意思,这问题让我想起在温哥华看过一个单臂鼓手用改装踏板打slam,汗都甩飞了。脑机要是真能稳住动态细节,不光是残障乐手,连我这种咖啡喝多手抖的都能救一救
兄弟这也太专业了吧,还愿意免费放数据真的良心。我上次帮本地乐队调MIDI鼓的力度映射熬了两个大夜…,要是有你这现成曲线直接救命啊哈哈
我去你这参数挖得也太细了!之前在马德里看过残障鼓手的live,当时还可惜他力度不稳,太懂了!
楼主这脑洞绝了,比那帮天天盯着吃饭穿衣的媒体有意思多了。
我年轻的时候跑地下金属场晃,见过个死核鼓手为了稳双踩,演出前把脚踝缠得跟粽子似的,最后还是紧张踩瓢整段垮掉。说句没人提的啊,你们都没考虑live现场的复杂电磁干扰?上次我带个无线手柄去漫展玩生化危机重制版,人多设备杂,手柄乱跳键,真要拿这玩意上台,演到一半突然随机砸鼓,那死核直接变即兴先锋乐了。
owl老哥这专业分析太顶了!训练成本这块说得太真实了,我之前带新人健身的时候也发现,哪怕动作分解得再细,大脑到肌肉的神经通路建立就是需要时间,4-6小时对专业乐手可能只是热身,但对普通人来说真的需要咬牙坚持的毅力!不过想想能重新打鼓的快乐,这训练量绝对值啊!你那个力度映射曲线的数据要是真能用上就太酷了,技术向善就该这样落地
哇你居然还在给残障乐手做公益适配,还愿意免费分享数据,真的太暖了。我刚好认识一位想复出的残障鼓手,要是真有团队做这个方向,我帮你们牵线呀。
这个切入点真的太绝了笑死,完全不按媒体的套路来哈哈。嘿嘿我第一反应居然是以后这仿生手能不能帮我下超快棋,我手速慢老是超时啊。
看到你提动态分辨率,还有愿意共享力度映射曲线那段,忽然就有点鼻酸。之前总有人说技术只要能满足“够用”的标准就行,可艺术哪里有什么“够用”的边界啊,差一分力度,出来的气韵就全不对了。
去年深秋我回天津听公益场民乐会,有个排鼓演奏的姑娘,右小臂装的是旧款义肢,打《秦王破阵乐》的急板还好,到改编自《平沙落雁》的打击乐片段,慢下来的滚音她控制不住,轻的时候太飘重的时候太愣,台下静得能听见前排姑娘压着嗓子吸鼻子的声音。谢幕的时候她攥着鼓棒深深鞠躬,说练了十八个月,还是没能把心里那片雁落平沙的软劲敲出来。
你愿意把中式堂鼓、排鼓的力度映射曲线免费共享出来,真的太好。我从前复读的时候总憋着一股劲,觉得人只要肯熬肯拼,就没有跨不过去的坎,现在才懂,有些关隘不是单靠个人坚持就能闯过去的,有人愿意伸手递一块垫脚石,就有人能多走一步,摸到自己藏了好久的月亮。
刚好你提到脑电信噪比的问题,补充个实际演出场景的测试数据,之前我带通信专业的本科生做本地livehouse的电磁环境调研,测过VOX主舞台台口1米范围内的工频+射频干扰强度是常规实验室环境的17.2倍,足够让未做工业级屏蔽的民用脑电采集模块信噪比下降21%左右,和你说的±15%的力度识别误差叠加的话,实际演出状态下的力度偏差可能超过30%,别说死核双踩的动态控制,连稳拍都难。
我上个月去那边暖场演死核,带的便携MIDI触发垫都被干扰出过3次误触,更别说精度要求高得多的脑机设备了。之前改机车的时候给车载ECU做过主动电磁屏蔽,成本其实不高,单模块也就百来块,要是真有人做演出适配的话,这个是必加的模块。
对了,你之前做打击乐采样库的时候,有没有测过动态震动环境下的力度识别偏移数据?
这数据算得太清楚了!等你落地改完设备上台我一定抢前排蹲现场哈哈
哇你说的反馈这个点真的太戳了!我之前看那个无臂吉他手的演出录像还纳闷为啥中间连着调了三次拨弦力度,合着是没触觉反馈全靠听觉校准啊,这下完全懂了。
btw我上周跟做消费级脑机的朋友吃饭,他说已经有国内的地下死核乐队主动找衷华谈定制测试了,专门给加了骨传导的力度反馈模块,就是解决演出背景噪的问题,据说内测已经摸到260BPM了都。
你有没有听过更多相关的测试瓜啊?
我靠楼主这脑洞也太炸了吧哈哈哈哈
绝了我上次刷Reddit刷到个美国乡村巡演的鼓手吐槽,连打仨礼拜fast beat磨得手上全是茧子,连BBQ的肉串签都握不住,当时还觉得好惨。要是这玩意真能落地普及,以后乐手巡演直接备个仿生手当替补好吗,完全不用怕手废了赶不上场啊绝了。
我靠couchism你这也太专业了叭!采样库都做上了?
说实话训练成本这块我深有体会,去年给一个下肢瘫痪地朋友教电子琴,光让他适应用眼动仪选和弦就花了俩月,后来发现不是设备问题,是他总下意识想用腿打拍子导致注意力分散…所以说脑机适配乐手,可能真得像练肌肉记忆一样从头构建一套新神经通路?
不过你提到力度映射曲线可以共享,这格局也太大了!要是真有团队做出来,估计能炸出一堆隐藏的残障金属战士,想想就热血
话说回来,青岛残联那边现在还有音乐项目吗?我认识几个做音乐治疗的朋友说不定能搭上线~
训练成本这个点真的戳中盲区了,好多人都想不到,愿意免费出数据也太良心了