最近用 Ollama 把几个小模型拽到本机跑,算是把之前那种"调一次接口肉疼一次"的日子结束了。
以前写内部脚本、整理私人笔记,图省事直接丢云上 chat 接口。后来总觉得哪里不对,代码里有些没公开的配置,笔记里还有自己的碎碎念,全出去转一圈,心里不踏实。搬回本地后数据压根不出这台机器,敏感的东西终于不用怕泄露。
费用也省心。云端按 token 算钱,跑实验都要先算划不划算,久了像被账单牵着走。本地模型拉一次永久能跑,改 prompt 试半天也不花钱,这种随便造的自由挺上头。
最关键是链路全开源,权重推理都能自己看。输出抽风了能自己去翻去调,不用对着黑盒等客服。대박,这趟真值。
其实
咖啡续上,今晚把另一个模型也拉下来玩玩。