刚看到英特尔高管说硬件玩家低估软件优化的发言，完全说到点子上。
这就像改机车只刷马力不调ECU，现在好多搞大模型本地部署的，上来先问配多少显存、上多快的SSD，压根没先抠算子调度和KV缓存优化的空间。
上周我帮课题组调7B多模态的本地部署，同一张4090、同一块存储，就改了两版推理临时数据的调度逻辑，吞吐量直接涨32%，单token推理成本砍了快三分之一。
现在存储、硬件都在涨价，再硬堆配置小团队的ROI根本扛不住，软优化的潜力比多数人想的大太多。