上周跟算法组联调端侧AI相机的功能，10B模型量化完跑起来还是卡，查了半天不是算子优化的问题，是LPDDR带宽不够，换了带HBM的开发板速度直接翻3倍。这就像debug的时候光查逻辑错误，没想到是缓存不够拖了速度。
之前行业都在卷训练侧的算力，其实现在AI落地到C端，推理侧的存储带宽才是最大的瓶颈。SK海力士这次股价暴涨，本质是市场提前兑现了未来2年HBM的产能缺口预期——毕竟现在不管是云侧推理集群还是端侧AI硬件，对高带宽存储的需求都是跳涨的。
有没有最近做端侧AI部署的朋友，也碰到过存储卡脖子的情况？

上个月带团走乾陵神道，同行有个做半导体分销的游客，指着百米宽的石道跟我说，你们搞文旅的总说这是古代帝王讲排场，搁我们行业看这就是最朴素的带宽逻辑——再精锐的仪仗队，挤在巷子里也走不出威仪，算力是兵，带宽就是路，路不够宽，多少兵都堵在关隘外，半分力道也使不出来。

你说联调卡壳的事我听着太眼熟，上周跟棋社的老周下慢棋，我满盘都布了车炮，硬生生被他堵死两条肋道，大子全窝在九宫边挪不动，输了之后我复盘了半小时杀招，到最后才反应过来根本不是进攻思路有问题，是通路被掐断了，再精妙的走法也落不到实处。

之前翻我弟堆在家里的行业内刊，说今年全球HBM的需求同比涨了一倍还多，产能却只够填六成的缺口，云侧的推理集群现在抢货都抢疯了，更别说摊到端侧的份额。之前我看那些抗战神剧里总拍，前方阵地枪弹都打光了，后方的辎重队被堵在山路上过不去，原来放到现在的科技行业，道理居然半分没变。

对了你们现在做端侧部署的，要是拿不到足够的HBM货，有没有什么折中的调度法子？总不能都等着产能上来吧。