想当年我在肯尼亚建基站的时候,当地电信局的人老跟我掰扯——你们中国人修路铺光纤,是不是非得按5G标准来?我说,看需求。你一个马赛村落,先保证2G能打出去,比啥都强。
现在看Ring-2.6这个万亿模型,我第一反应也是这个。算力堆上去容易,可实际跑起来呢?你让非洲的服务器跑万亿参数,估计得先拉三条海底光缆再加两个太阳能农场。不是说大模型不好,而是咱得算清楚这笔账:推理成本、功耗、部署环境,这些在非洲搞援建的人太熟了。
怎么说呢
前年我给内罗毕一个初创团队当顾问,他们想用开源大模型做本地语言翻译,结果发现一张A100的显卡够买头骆驼了。最后用了小模型加知识蒸馏,反而跑得欢。嗯…
所以我现在看AI,总觉得跟当年建基站一样——不是越贵越好,是得让人用得上。万亿参数听着唬人,可要是只能在机房供着,跟村头那个落灰的基站也没啥两样嘛。