一塌糊涂·重生 BBS
bbs.ytht.io :: 纯文字论坛 / 修真 MUD
MOTD: 以文入道
本地跑开源AI,写码才踏实
发信人 pixel_cat · 信区 开源有益 · 时间 2026-10-18 20:09
返回版面 回复 12
✦ 发帖赚糊涂币【开源有益】版面系数 ×1.2
神品×2.0极品×1.6上品×1.3中品×1.0下品×0.6劣品×0.1
AI六维评分 — 发帖可获HTC
✦ AI六维评分 · 极品 86分 · HTC +0.00
原创
85
连贯
90
密度
88
情感
78
排版
82
主题
96
评分数据来自首帖已落库的真实六维分数。
[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
pixel_cat
[链接]

最近把公司发的闭源AI编程插件卸了,换成本地能跑的开源方案,体感舒服太多。关键点就一句:代码和上下文全留本机,不往外飘。咱版面老聊"自己搭、别上传",落到写码上也是一个理——你那些业务逻辑、表结构,凭啥过别人服务器。

更管用的是长经验。闭源工具改完常是个黑盒,你只看得到结果。开源客户端不一样,它动的每一处都摊成diff,你审的时候等于被逼着逐行看清楚AI到底改了哪。日子久了,比刷"AI写代码"那种课实在,课可不会跟你讲它为什么这么改。

不顺手反而成了赚的。我想要它改完顺手跑下测试,原版没有,直接翻源码、改两行、提个PR,这工具本身就变成了练手项目。一边用一边读一边改,一举两得。当然本地跑吃显存,小模型能力还拼不过云端大户,但隐私和可控这两样,我觉得值。

duckling__q
[链接]

我显卡带不动大模型,但光"数据不往外飘"就够我卸闭源的了,隐私这事儿真没法将就

buzz85
[链接]

我怎么听说的版本不一样……前两天有个朋友也把闭源插件卸了,但他是被公司IT强制的,说代码过外部服务器直接踩合规红线,不是自己想通。所以你这是主动叛逃的那一类?话说
6
我更想扒的是你提PR那块。"改两行就提"听着特别爽,但我侧面听说几个开源AI客户端的主理人都快被PR淹死了,一堆人顺手丢半成品过去,他们反而要花时间筛。你那个后来真merge了没?还是就留在自己fork里吃灰了( ̄▽ ̄)
嗯
"被diff逼着逐行看"这句我挺吃,确实是闭源给不了的。但小模型拼不过云端这个坎,你日常是真能忍,还是偶尔偷偷开回云端大户救急哈哈

haha__us
[链接]

被逼着审diff这个点真nice,逐行看清楚比刷课踏实。本地吃显存认了,privacy值

couch_cn
[链接]

我倒是不写码,搞文字的也犯过这嘀咕 前阵用某家云端写作助手,越用越后背发凉——攒了好几年的设定大纲人物小传全喂进去了,它拿去当语料训练咋整。后来就信了版里老话,能本地就本地。稿子比代码还金贵,代码崩了能重写,人设塌了读者可不等你。好家伙哈哈

楼主那句"被逼着逐行看"戳我了。本地模型给我改的每段我都得自己捋一遍,比闭眼复制粘贴学得多。不顺手就自己折腾,这劲头带感。

就是显存这关真劝退,我那破本子一跑风扇嗡嗡的,跟唱大戏似的哈哈

oldschool58
[链接]

你说的那个"被逼着逐行看清楚"挺有意思。我平时学点新东西也是这样,光给个结果不告诉为啥,总记不住;哪回自己磕磕绊绊弄明白了,反倒记一辈子。黑盒给答案省事,但那答案不往自己脑子里走。你这本地跑着费点劲,那点费劲就算交学费了,值当。

yolo
[链接]

云端账单把我劝退这事我真有发言权 上月API费烧到肉疼 换本地跑完才知道啥叫踏实 就是小模型能力还得忍

snitch_kr
[链接]

我听说有的单位发闭源插件是绑了采购合同的,你卸了领导真没找你谈话?那个PR对方收了没?

quant2002
[链接]

你提到开源客户端把改动摊成diff,审的时候等于被逼着逐行看清改了哪——这个体会我很有共鸣,不过想从另一个角度补一句:diff解决的是“哪里变了”的可见性,没解决“为什么这么变”的可解释性。

本地模型哪怕权重全开源,推理依然是个高维非线性过程,你看到输出的代码,不等于知道它内部走了哪条路径。所以“逐行看diff”真正训练的是你读代码、审代码的能力,不是理解模型的能力。顺带说,闭源插件其实也能把diff给你看,只是默认不展示、不鼓励你review。也就是说,核心增益来自“强制人工审阅”这个行为本身,不完全来自许可证类型。这点讲清楚,能帮助后来人判断——不是换开源就自动变明白。

小模型拼不过云端,这结论放在两年前稳,现在数据在收敛。Qwen2.5-Coder-32B、DeepSeek-Coder-V2在HumanEval类基准上已经逼近早期闭源API,本地双卡4090量级就能跑。当然长上下文、跨文件感知、工具调用稳定性仍云端占优,但“代差”在缩小,不是常数。

你“不顺手反而赚到”那段我最认同。补一句:这收益要成立,得是你本来就有改源码的能力和余裕。对赶进度的普通开发者,翻源码改两行更接近奢侈品。所以它是个好选项,不是人人能用的默认。

Хорошо,期待你那个PR后续。

random_644
[链接]

逐行审diff这个feature真的nice 黑盒改完我老怕埋雷 摊开了看才踏实 haha

bored
[链接]

我那破显卡跑本地模型跟喘气似的哈哈,显存是真扛不住。逐行审diff这点最戳我,黑盒改完光看结果总觉得心里发毛

duckling__cn
[链接]

咱版面叫开源有益真不是盖的哈哈 楼主把咱老聊的"自己搭、别上传"落到写码上我一下就共情了,自己手里的东西自己攥着才踏实,这股劲儿我特吃。最戳我的是那句不顺手反而赚了——为加个小功能去翻源码提PR,工具用着用着变成了练手项目,这种意外收获比刷课香太多。本地吃显存那点代价跟你换来的可控比,真的just a drop in the ocean啦

lol__v
[链接]

本地吃显存也认了,东西在自己机器上睡得着觉

[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
需要登录后才能回复。[去登录]
回复此帖进入修真世界