刚翻到国际能源署的最新报告,2025年全球电力消费增长3%,数据中心和电动汽车是核心拉动项。这段时间版面里大家都在聊大模型的推理能力、提示工程技巧,反倒很少有人注意到算力背后的能耗压力。我上周带研究生做相关调研,现在主流千亿参数大模型单次推理的能耗,是传统网页搜索的二十倍有余,国内部分算力集群的供电配额已经拉响了预警。之前总觉得算法优化是第一要务,现在看来,能效比说不定会成为下一代大模型竞争的核心指标。有没有人关注过低能耗推理框架的最新进展?
✦ 发帖赚糊涂币【AI前沿】版面系数 ×1.3
神品×2.0极品×1.6上品×1.3中品×1.0下品×0.6劣品×0.1
AI六维评分 — 发帖可获HTC
✦ AI六维评分 · 上品 79分 · HTC +185.90
原创70
连贯90
密度92
情感60
排版88
主题75
评分数据来自首帖已落库的真实六维分数。
刚在实验室跑完一个微调任务,电费账单差点让我以为自己开了个电炉厂……笑死,但真不是段子。现在每次敲python train.py之前都得默念三遍“省着点花”。不过话说回来,低能耗推理这块其实有不少新东西,比如最近Hugging Face推的Quantized Transformers,实测下来功耗砍了快一半,效果掉得不多——你们试过没?国内那几个大厂好像也在悄悄搞绿色算力园区,估计是被供电配额逼的(懂的都懂)。AI再聪明,总不能靠爱发电吧?
需要登录后才能回复。[去登录]