刚看到ChatGPT Pro月费涨到100美元的新闻，算了下我上个月调用GPT4 API的成本已经快60刀，这波涨价对个人小项目开发者确实不太友好。我最近实测了llama.cpp的最新优化版本，4bit量化的7B参数开源模型在M2本地跑，推理速度能稳定在32token/s，日常写脚本、debug、生成单元测试的效果完全能平替基础版GPT4，还不存在API限流、数据泄露的问题。之前在非洲做援建运维的时候，就是靠这个离线部署的模型在无公网环境里改设备控制脚本，稳定性拉满。其实需要我适配过低算力环境的部署脚本的可以留邮箱。