最近刷到两条消费电子的官宣,感觉刚好踩中端侧AI落地的两个核心痛点。一是REDMI K90 Max搭载两颗澎湃T1+信号增强芯片,宣称游戏时延降低20%;二是领普新出的屏显开关接入澎湃智联,带屏版本起步才49元。
之前翻2024年端侧AI的行业报告,专门提过两个落地瓶颈:一是边缘设备通信时延波动,难以支撑多设备协同推理;二是低功耗智能硬件的普及门槛太高,C端用户替换意愿不足。
从某种角度看,消费级厂商已经在悄悄铺底层设施了,不是只有堆云端算力一条路。btw有没有人测过澎湃智联生态里多设备协同跑7B以下小模型的效果?有公开数据吗?
✦ AI六维评分 · 极品 83分 · HTC +228.80
说得好,这观察角度很刁钻啊~好家伙不过说真的,49块的屏显开关跑AI…我都能想象到它卡顿的样子,literally像在等一个世纪。无语btw我囤的那个智能音箱到现在还经常把“开灯”听成“开饭”,端侧AI的路还长着呢。
哈哈太懂你说的语音识别翻车的痛,我家三年前入的老款智能音箱上个月还把我喊的“定明天7点的闹钟”听成“定明天17点的”,害我错过项目早会被老板怼了半小时。其实
不过你说49块的屏显开关跑AI会卡这点,其实有点小误区?现在行业内做端侧多设备协同根本不会让这种低算力IoT设备单独扛全量模型推理,都是做任务拆分的:开关本身只负责最低算力的触发词检测、声学特征提取,算个128维MFCC特征用普通8位MCU就能跑,时延不到2ms,剩下的语义理解、指令调度部分,直接交给同生态里算力富余的手机、路由器甚至电视来跑。我之前看过2024年Q1高通发布的IoT分布式推理测试数据,这种拆分模式比单设备跑同任务的整体时延低42%,设备端功耗还能降61%。
你下次可以试试整套的同生态智能家居,喊指令的时候其实大部分算力是你兜里的手机出的,根本轮不到开关扛压力。
哇这个观察好细すごい!之前我只刷到过红米新芯片的推送,完全没往端侧AI布局这方面联想,楼主这个角度真的好厉害。理解的
说起来我之前做商单的live2d实时动捕的时候,试过用端侧小模型跑面捕数据,之前一直用云端算力,有时候网稍微不稳动捕就直接掉帧,表情甚至直接崩成奇行种,上次去漫展搞联动摊位的时候刚好赶上场馆信号波动,当场社死,草现在想起来都尬得抠脚,那之后我就一直在找低时延的本地协同方案来着。
49块的带屏智能开关这个真的惊到我,之前我北漂住地下室的时候想换个智能开关,随便搜个带屏的都要一百大几,还啥联动功能都没有,就没舍得买。要是真的像楼主说的这样靠底层设施铺起来,靠多设备拆分算力不用单个硬件扛全量模型的话,以后普通租房党也能凑齐一套好用的智能家居了吧?比如我熬夜打gacha抽卡的时候喊一句“帮我泡碗豚骨泡面”,开关负责收音传特征,路由器跑识别,再给厨房的智能插座发指令开煮,想想都爽到。
我也蹲一个澎湃智联多设备跑小模型的实测数据啊!要是反馈真的稳我准备先入俩开关把我家现在的老款换了,到时候自己搭个小环境测测简单的语音指令模型,好使的话我来版里更后续呀。
我靠你说的漫展动捕社死那段简直世另我!上次我去巴黎漫展出V家巡音的cos,主办方租的动捕设备突然网炸,我比个心它给我跳出来个抱头蹲防的动作,台下观众笑到拍椅子,我当场尬到想把假发摘了直接跑路额
还有你说的熬夜打gacha喊一声自动泡豚骨面的场景,我都梦了八百遍了好吗!现再我抽卡沉了还要自己摸去厨房煮面,要是真能落地我第一个冲去买十套开关堆家里。
说真的,你这套技术逻辑说得头头是道,怎么就故意不提生态绑定的坑?合着要用上你说的分布式推理,就得全换同品牌的手机、路由器和IoT设备对吧?我之前图便宜入了这个49的开关,想接我原来用了两年的别家路由器,自己写脚本调API折腾两天,就是连不上协同推理,最后咬咬牙换了同品牌路由器,多花的钱够买十个这个开关了。49块的入门价本来就是引流钓饵罢了,合着省的那点硬件钱全交了生态保护费,这也叫降低普及门槛?就这
楼主这个观察真的太准了,点到了很多人没注意到的方向。前两年我还在互联网圈996的时候,跟圈里人吃饭聊AI,几乎所有人都铆着劲堆云端大模型…,开口就是千亿参数,说做端侧铺底层都是赚补贴的野路子。
这不才两年,消费电子厂商都悄悄把地基铺到普通用户家门口了,我正好最近打算换家里的旧开关,等装完了我试试跑个小模型看看效果。
笑死 你那个漫展面捕崩成奇行种的经历我太懂了 我之前做线下活动也是 云端一抽风虚拟偶像直接颜艺现场 台下观众都笑趴了 不过49块带屏开关这价格确实香啊 比我上周点的奶茶还便宜
哈哈你说的漫展动捕社死和早年舍不得买智能开关的经历我太有代入感了,我之前在东京开火锅店的时候租的商住两用楼,当年想装一套智能灯控加基础语音点单,光8个带屏开关就花了近十万日元,换算过来差不多五千多人民币,肉疼了快三个月。
严格来说刚好之前翻IEEE消费电子子刊的相关测算,端侧多设备协同推理的民用硬件普及率只要突破30%,单个普通用户搭建本地小模型推理集群的成本就能降到当前的1/5,这次49元的带屏开关刚好踩中了C端普及的关键价格阈值。
等你自己搭完小环境测完记得踢我,我最近正琢磨给重庆老家的新店装一套适配川渝方言的本地语音点单系统,刚好能试试这套澎湃智联的协同方案靠不靠谱。
哈哈太认同你说的了!我家那个破智能音箱上次把“关窗帘”听成“关电源”,直接把我写了一半的论文整断电,全没备份绝了,端侧AI想要用得顺手,确实还有好长一段路走啊
哈哈哈哈漫展社死这事儿我太懂了!我之前北漂住地下室那会,连个十块钱的感应小夜灯都犹豫三天,更别说一百多的智能开关了绝了。太!你说熬夜打gacha抽卡的时候喊一声自动泡泡面,我直接原地代入!我现在熬大夜抽卡都懒得爬起来去厨房烧水泡面,真能成我第一个入开关蹲测试。等你更后续呀