刚刷到韩厂DEEPX的新闻，说要搞基于三星2nm的AI专用芯片，2027年量产，我直接卧槽。
之前想给我改的机车整个离线AI语音控车机，不用连手机那种，找了好久芯片要么性能拉胯跑不动小模型，要么发热巨夸张，夏天搁车把上真能煎蛋。不是
真要是2nm的专用AI芯片普及了，以后端侧跑大模型不跟玩一样？啥设备都能塞个强AI，想想都爽啊。你们有没有遇过端侧AI不够用的破事？

太有共鸣了！夏天车把煎蛋那段简直离谱又真实，现在端侧AI就是被芯片性能卡脖子卡太久，真等2nm芯片普及，那不得爽飞啊

先泼个小冷水哈，你是不是把2nm量产和2nm端侧民用芯片普及的时间差给忘了？
补充个行业数据，三星3nm GAA刚量产的前三个季度，良率最低的时候不到55%，相比同期成熟的5nm工艺，晶圆成本直接高出42%，首发的消费级Soc都只敢用在顶配旗舰手机上，根本下放不到IoT类的边缘端产品。按这个规律推，2027年就算2nm真能量产，前两年的产能肯定优先供给服务器AI芯片、旗舰手机Soc，轮到车机、物联网这种对成本敏感度高的端侧场景，最早也得2030年往后了。
之前我帮导师做西安明城墙AR导览终端的项目，要在手持设备上本地跑7B参数的大模型做实时历史解说，找合适的端侧AI芯片找了俩月，本来想等某厂下一代4nm专用NPU，一问供应链，单次拿货量不到1万的话，单颗芯片价格比同性能的小型边缘计算盒还贵30%，项目预算直接hold不住，最后还是改了云侧推理的方案。
而且端侧AI的使用体验也不是光靠制程就能堆出来的，NPU的算子支持度、模型量化的优化效率影响更大。之前DEEPX自己公布的初代4nm AI芯片，跑Llama2-7B 4bit量化的推理速度，也就比高通同制程的集成NPU快21%，但裸片价格高了两倍多，算子还不支持部分中文大模型的自定义算子，精度掉得没法用。
对了，你有没有试过用退役旧手机的Soc改端侧设备？我去年拆了个淘汰的小米11，把骁龙888的NPU改来跑离线语音识别模型，除了发热确实夸张，日常用其实还凑活 = =

兄弟你这说的才是真内行，那些供应链和成本的弯弯绕，没真跟过落地项目的根本摸不着门，比上来就吹制程万能的帖子靠谱多了。
我年轻的时候在肯尼亚搞乡村便民服务站的项目，要做端侧的中斯瓦希里语实时翻译，那边偏远的地方连2G信号都时有时无，根本没法走云侧推理。当时找芯片找了快三个月，性能够的单颗要大几百，预算hold不住，便宜的跑起来翻三句话能卡半分钟，最后还是托留学时一起在唐人街刷盘子的哥们，他现在在深圳做芯片代理，匀了我几十片测了大半年的旧制程专用NPU，才勉强凑合用，超的预算还是我们几个援建的同事AA补上的。
其实也不用死等2nm下放，现在模型侧的压缩优化速度也快，前阵子看圈内朋友发的测试，7B的模型量化到2bit日常用精度掉的还不到5%，说不定再过个两三年，现有14nm的芯片就能跑流畅了。我现在就盼着哪天成本打下来，回去给肯尼亚那边的乡村小学也装几个智能答疑的终端，那边缺老师缺的厉害。

太懂这种糟心感了！我前阵子给队里找能端侧跑跨栏步态实时分析的便携设备，挑了快半年，要么算一步延迟半秒根本没法即时给队员反馈，要么揣兜里俩小时就没电，每次户外训练都得拖个充电宝巨麻烦。
真要是端侧AI芯片性能上去了，别说车机了，我们搞田径的随身带个小玩意就能实时纠正动作，比专门蹲个教练在场边盯效率高多了。管他要等个三五年还是多久，技术迭代这么快，早晚能用上，冲就完了。

哈哈哈哈楼主说的车把煎蛋也太有画面感了，我完全懂这种端侧芯片不给力的憋屈！
说个你们可能没怎么听过的场景，我平时做亲密关系咨询的，最近和几个技术圈的朋友在捣鼓个小玩意，想做个能贴身戴的离线辅助设备，不用连云端的那种，毕竟涉及到用户隐私嘛，谁也不想自己和伴侣相处的细节数据传到不知道哪里的服务器对吧。这个设备本来想实现的功能就是实时捕捉两个人互动时候的语音语调、微表情还有肢体小动作，识别到对方有点紧张或者回避的时候，悄悄给佩戴的人手腕震一下提个醒，省得有人神经大条没察觉到对方情绪变化，本来好好的相处最后闹矛盾。
结果找芯片找了快俩月都没合适的，要么算力不够跑轻量的情绪识别模型延迟快两秒，等提醒出来气氛都冷下来了；要么功耗太大充满电撑不过一个半小时，总不能用到一半停下来插充电宝吧？还有发热的问题，贴身戴的东西温温的还好，要是跑十分钟模型就烫得手腕疼，也太扫兴了，我们本来都打算暂时搁置这个项目了。
今天刷到楼主说的2nm AI专用芯片的新闻，突然又有点盼头了，要是真的以后端侧算力上去了功耗还能压下来，这种对隐私要求极高的个人化AI应用真的能落地好多，能帮到的人肯定不止我这边的来访者。
说起来你们有没有啥小众的端侧AI需求啊？我感觉好多场景平时大家都没往这方面想，真的算力够了能解锁超多意想不到的新玩法哈哈。

是呢，完全懂这种盼着技术快点落地的心情！我之前帮常去的业余青训队找能嵌在便携战术板里的端侧芯片，想实时分析小球员的跑位数据，找了大半个月要么跑不动轻量化的轨迹识别模型，要么连续用二十分钟就烫得能融掉我贴在边上的战术贴纸，当时还跟队友吐槽要是有性能够还低功耗的芯片我直接囤一打。
之前跟做芯片的球友聊过，现在不少厂商都在给细分场景做专用架构优化，不一定非要等最先进的工艺下放，说不定再过一两年就有适配机车、这类便携设备的专用AI芯片出来，没准能提前用上呢？

哈哈太懂你找芯片找得头大的感受了，我前两年捣鼓离线宠物识别项圈也踩过同款坑，慢慢等呗。

你这数据也太实在了！我之前想搞个能离线识别手势的短视频拍剪小配件，问完新制程AI芯片报价直接劝退，贵到离谱根本玩不起。

楼主这形容绝了，车把煎蛋我都能想象到那股塑料烤焦的味儿。
我前阵子翻出来早年跑场子录的上千段老相声现场录音，想整个离线的小硬件，插U盘就能自动给录音降噪、对口型加字幕，省得我戴着老花镜逐帧抠，找了小半年芯片都没合适的，要么跑出来郭荣启先生的嗓子都给修成侯宝林先生的，要么转一段四十分钟的活得等仨钟头。
慢慢来其实也未必非要等2nm的工艺落地，前阵子碰上个搞算法的小朋友，把7B的模型砍到几百M还能保留八成准确率，说不定再过个两三年，咱们这点需求用现有的工艺就能搞定，犯不上等那贵得要死的新片子。

太懂这种刚需被芯片卡脖子的憋屈了！之前帮玩业余障碍跑的朋友搭动作分析小工具，找了一圈合适的端侧芯片没找着，最后被逼得用RoR写了个超轻量的边缘服务，揣个改装的随身路由跑，每次户外训练都得先找信号好的地方架设备，队友都调侃我是来搞通讯保障不是来练跨栏的。
要是以后端侧AI芯片真能跟上，你们专业队能用不说，我们这种业余玩的也能蹭上红利啊，到时候直接塞运动手表里就能实时纠错，哪用现在这么折腾。说真的我都已经开始攒钱等着了哈哈。

你说得太实在了！这个成本和时间差真的戳破好多宣传的泡沫啊
我之前跟夜校同学凑着想整个工地测钢筋间距的端侧小工具，一算单颗芯片的钱直接超了三倍预算，最后还是改回云侧推理了哈哈哈，咱们小打小闹搞项目真的等不起降价啊

哈哈哈哈姐妹你这个点子绝了！我直接笑出声 这不就是为我这种恋爱脑残星人量身打造的吗 想起大学那会儿谈的 每次吵架都是后知后觉 对方脸都黑了我还在那叭叭讲道理 最后直接凉凉

你这项目要是真能做出来我第一个当小白鼠好吧 但感觉情绪识别好玄学啊 光靠硬件能搞定吗 我跳街舞时候戴的手环测个心率都飘得离谱 微表情这种更细的会不会容易误判
牛啊
不过隐私这块确实刚需 谁愿意和对象吵个架都被传云端啊 现在那些恋爱软件动不动就要上传聊天记录分析 我都不敢用 总感觉有双眼睛在背后盯着
嘿嘿
2nm真能普及的话 能不能先搞个防渣男预警手环啊 探测到海王发言自动震动那种 我直接买爆

你说的这个明城墙AR导览的项目我太有代入感了，之前带散客逛城墙的时候，总有人问有没有不用连网、走到哪就能自动讲对应段城砖背后旧事的小设备，我当时还笑说再过两三年说不定就能人手一个，现在看来倒是我想得太乐观。
前阵子我自己想攒个便携的离线小工具，跑微调过的西安地方志模型，去碑林的时候能当场比对碑刻的散佚内容，找了快三个月合适的端侧芯片，要么算力不够跑起来卡顿到离谱，要么价格超预算太多，最后还是只能老老实实背着游戏本去，沉得肩膀酸了好几天。

太懂这种被芯片坑的憋屈了！笑死之前想整个端侧跑街舞动作纠正的随身小设备，旧芯片卡得我动作都快做完了才出反馈，真等2nm普及我第一个冲好吧！Genau！

卧槽楼主这车把煎蛋的形容绝了！我上次改装吉他效果器想塞个AI实时扒和弦，结果芯片烫得能暖手，冬天还行夏天直接罢工……2nm真来了我第一个给琴装上，边弹朋克边让AI骂我调音不准哈哈！

哈哈车把煎蛋这段画面感直接拉满好吗，太懂这种端侧芯片拉胯的憋屈了 我之前折腾着想整个离线的古典乐识别小装置粘CD架上，扫下碟面就能自动归档还能关联同曲的不同演出版本资料，找了快半年合适的芯片，要么跑半天才出结果，要么能把卡拉扬的贝多芬认成网红热歌，真等2nm端侧芯片普及了我第一个冲。

哈哈你这个应用场景太有意思了！让我想起在北京开网约车的时候，经常载到吵架的情侣，后座气氛冷得我空调都不用开了…要是有这种离线提醒设备，估计能少收不少尴尬费

不过说真的，这种高度隐私的场景确实得靠端侧，云端太容易出事了。我当年在莫斯科读书时帮人做过翻译器项目，也是卡在本地算力上，最后只能做成连手机的破烂方案