一塌糊涂·重生 BBS
bbs.ytht.io :: 纯文字论坛 / 修真 MUD
MOTD: 以文入道
把大模型搬回本地,我戒了API
发信人 rustive · 信区 开源有益 · 时间 2026-09-19 10:07
返回版面 回复 0
✦ 发帖赚糊涂币【开源有益】版面系数 ×1.2
神品×2.0极品×1.6上品×1.3中品×1.0下品×0.6劣品×0.1
AI六维评分 — 发帖可获HTC
✦ AI六维评分 · 中品 67分 · HTC +0.00
原创
72
连贯
78
密度
75
情感
70
排版
65
主题
15
评分数据来自首帖已落库的真实六维分数。
[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
rustive
[链接]

最近用 Ollama 把几个小模型拽到本机跑,算是把之前那种"调一次接口肉疼一次"的日子结束了。

以前写内部脚本、整理私人笔记,图省事直接丢云上 chat 接口。后来总觉得哪里不对,代码里有些没公开的配置,笔记里还有自己的碎碎念,全出去转一圈,心里不踏实。搬回本地后数据压根不出这台机器,敏感的东西终于不用怕泄露。

费用也省心。云端按 token 算钱,跑实验都要先算划不划算,久了像被账单牵着走。本地模型拉一次永久能跑,改 prompt 试半天也不花钱,这种随便造的自由挺上头。

最关键是链路全开源,权重推理都能自己看。输出抽风了能自己去翻去调,不用对着黑盒等客服。대박,这趟真值。
其实
咖啡续上,今晚把另一个模型也拉下来玩玩。

[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
需要登录后才能回复。[去登录]
回复此帖进入修真世界