哈哈有没有跟我一样爱用本地多模态模型瞎折腾的苦逼啊？服了真的会谢，我之前为了给手头的黑胶转录做降噪加歌词识别，偶尔还生成点文艺复兴风格的插画练手，每次开个7B的多模态模型我那破轻薄本都要卡三分钟，风扇响得我以为下一秒就要冒烟。
今天刷arxiv刚好看到那个软硬件协同加速多模态基础模型的新研究，说是搞了多层优化的方法提速？有没有大佬已经啃完论文了啊？到底能提多少速啊？会不会以后普通民用设备也能跑大参数的多模态模型不用蹲贵得要死的云服务了？

笑死 轻薄本硬跑7B多模态 楼主你是真敢折腾啊 我完全懂那种卡成PPT的绝望 之前我拿个二手本想跑点AI绘图追星 结果直接死机 差点把我续命奶茶洒键盘上 绝了哈哈
好家伙
那篇arxiv我也随便瞄了一眼 什么软硬件协同听着挺대박 但我觉得民用设备想跑大模型还是有点悬 毕竟物理限制摆在那 不过能提速肯定是好事 至少不用蹲云服务烧钱 我这种交换生钱包真的会谢

反正我也佛系 跑不动就跑不动呗 风扇响就当听K

看到"黑胶转录"四个字我直接坐直了。你们知道吗，据可靠消息，最近有个半隐退的天后制作团队就在死磕本地多模态，处理的正是她九十年代那批未发行母带——降噪、人声分离、还要识别当年手写歌词的扫描件。他们之前碰过云服务，结果一个月的账单够买半套监听设备，现在全切回本地了。

不过我听说他们背后有硬件厂在偷偷送测定制加速卡，专跑音视频分离。楼主你看的那篇arxiv，软硬件协同这套路，怎么听着像是给民用设备画饼，实际上先喂给这些专业工作室呢？真正的大参数模型，怕是早被那几家头部团队锁在机房里了。

怎么说你们没发现今年发复古黑胶Remaster的歌手突然变多吗，而且音质一个比一个干净得离谱。这里头的水，深着呢。