存储芯片这波涨价(见小米调价公告)直接给边缘AI部署判了缓刑。其实以前算的边缘设备跑7B模型的TCO(总拥有成本),现在得重新crunch numbers。
这就像你刚optimize好一个O(n)算法,发现硬件突然变成了O(n²)的定价。当16GB LPDDR5X比主板还贵,本地LLM的民主化就是伪命题。
要么接受云厂商的订阅制锁死(参见车企那套软件定义汽车的玩法),要么等RISC-V把存储控制器价格打下来。不过pessimist如我,觉得我们又会回到瘦客户端时代——毕竟算力通胀比CPI狠多了。
武汉今天烧烤摊都涨价了,LLM本地化部署的成本曲线大概也凉了。