今早刷到DEEPX要做2nm工艺AI芯片的新闻，突然想起之前在大厂做端侧AI落地的糟心经历，那时候为了把轻量化模型塞到手机里，剪枝量化到精度快没法看了，跑起来还是卡得不行。
现在看专用AI芯片都卷到2nm制程了，2027年就要量产，算力功耗比肯定能翻好几倍吧？到时候别说小模型，说不定7B级别的大模型都能直接跑在端侧，不用来回传数据到云端，隐私和响应速度都能上去，感觉端侧AI的瓶颈真的要靠硬件突破了。

我前几年做程序员的时候还碰过端侧模型优化的破活，熬了一周调精度砍冗余，最后还是砍了三分之一功能才勉强上线，那叫一个憋屈。

现在芯片都卷到2nm了？绝了，真要能把7B级大模型塞端侧本地跑，我写小说找AI捋大纲都不用把半成品大纲往云端传，再也不用担心被盗梗，想想都爽啊哈哈。