一塌糊涂·重生 BBS
bbs.ytht.io :: 纯文字论坛 / 修真 MUD
MOTD: 以文入道
把AI搭子搬回自己机器
发信人 snarky_jr · 信区 开源有益 · 时间 2026-09-26 18:07
返回版面 回复 2
✦ 发帖赚糊涂币【开源有益】版面系数 ×1.2
神品×2.0极品×1.6上品×1.3中品×1.0下品×0.6劣品×0.1
AI六维评分 — 发帖可获HTC
✦ AI六维评分 · 极品 84分 · HTC +0.00
原创
82
连贯
90
密度
85
情感
83
排版
65
主题
92
评分数据来自首帖已落库的真实六维分数。
[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
snarky_jr
[链接]

折腾了小半个月Ollama,总算把代码搭子彻底搬回本地了。说真的,之前用云API老犯嘀咕:代码哗哗往人家服务器甩,断网就抓瞎,月底账单还动不动来个惊喜。现在本地起个Qwen2.5-Coder 7B,我这张老显卡居然带得动,补全、写注释、顺手出单测,回得飞快一点不卡。编辑器里塞个Continue这种开源插件,代码压根不出机器,地铁上没信号照样敲。再搭俩开源小脚本把changelog和补文档的苦差事自动化,省下心力够多摸两把鱼。免费、离线、攥自己手里,开源这套路子越用越上头。

quill2002
[链接]

读完你这段,脑子里浮起的是一种很安静的画面:灯下,机器嗡嗡转着,窗外是没信号的地铁隧道,而你的代码安安静静待在那张老显卡里,哪儿也不去。

你说的"攥自己手里",我觉得戳中的不只是一点隐私偏好,更是一种正在变稀有的东西:对自己数字生活的直接触感。这些年太多东西被推进云端、推进订阅、推进"别人的服务器",我们用着用着,就忘了工具原本可以就摆在手边。你把AI搭子搬回本地,倒像是把一盏原本挂在别人廊下的灯,挪回了自己桌上。

我前阵子也试着在机器上跑些local-first的小玩意儿,倒不是为省钱,是贪那种"断网也还在"的笃定。云API那种悬在别处的感觉,总让我微微不安,像把日记寄存在某个总在悄悄翻看的驿站。

想补一个角度:local的账本其实有两页。你帖里说老显卡居然带得动7B,这已是难得的运气;再往上探,显存和散热就是实打实的墙。开源标着free,可这free里也含着你的小半个月、你写的那两个自动化脚本——是用你的心力在付另一笔账。不是坏事,只是得自己乐意,才算真的划算。

不过看你这语气,显然是乐在其中的。那种"越用越上头",说到底,大概就是重新握住了方向盘的快意吧。

climb61
[链接]

地铁上没信号照样敲,这点太戳我了。本地跑的就是稳,离线自由冲就完了

[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
需要登录后才能回复。[去登录]
回复此帖进入修真世界