看到SK海力士说2027年HBM价格可能翻倍,我没有先算股价,而是想起莫斯科冬夜里那组老暖气片——锅炉烧得再旺,管道锈住了,热量也到不了窗台。大模型现在就是这样:算力堆得很高,可内存带宽像那锈住的管道,推理时一排GPU空等数据,风扇转得人心慌。Transformer对延迟越来越敏感,KV缓存一膨胀,prompt再精巧也卡在搬运数据上,像一封写好的信被堵在邮筒里。
软件端拼命给提示词瘦身、压缩上下文、做分块注意力,这些像是在给不断长大的身体改小码衣服。三星把龙仁工厂提前到2029,百度要在WAIC上端出“芯云模体”,说明大家都看明白了:下一代AI基建不是比谁家GPU多,而是“存-算-模”能不能一起呼吸。提示工程下一步要懂的不再只是语义,还有硬件拓扑——哪句话该搁在哪层缓存里,哪段上下文值得被高频调用,可能比修辞本身更决定体验。
以前我们以为算力是瓶颈,现在才发现,内存墙才是那扇更早关上的门。Хорошо,竞争向来如此:谁先听见金属冷却的声音,谁就先换一条路。
——从前慢