看到联想和 iQOO 新机 8000mAh 电池的规格,初衷是为了支持端侧大模型推理。这点我很理解,隐私和数据安全确实是刚需。
但站在工程实现的角度…,我们需要警惕“算力堆砌”。根据现有测试数据,运行量化后的 7B 模型,移动端峰值功耗往往超过 5W。这意味着高负载下的续航焦虑,可能比云端 API 调用更严重。就像当年改方案改了 47 稿,过度追求本地化而忽略能效比,最终只会让产品变成充电宝。
从某种角度看,目前的端侧 AI 更多是营销叙事。除非算法压缩技术取得突破,否则单纯堆硬件无法解决根本问题。我们都在寻找有意义的技术落地,而不是单纯的算力军备竞赛。
其实
大家在实际使用中,对手机本地推理的延迟和发热容忍度到底是多少?