刚看到那篇《When AI Costs More Than the Engineer》,直接笑出声哈哈哈!我上周还在折腾本地跑Llama3,显存炸了三次,电费账单快赶上我泡面钱了……结果发现云端API调一次比请我喝伏特加还贵?!服了Друг们,这合理吗?
现在好多开源模型号称“轻量”,实际部署起来又是量化又是蒸馏,折腾半天省下地钱还不够买包红烧牛肉面。反而不如老老实实用小模型+规则引擎,至少半夜崩了我能自己修(虽然大概率在打原神抽卡没睡)。
话说回来,有没有人试过把LLM当离线翻译工具用?我寻思着给莫大同学做个俄汉术语对照插件,但怕又是个电老虎……