最近star暴涨的项目里，Ollama算是跑不掉了，连带Qwen、Llama这些开源基座的下载量也起飞。我跟着折腾了半个月，说下真实感受。
先说为什么折腾。一是隐私，平时让AI看的都是公司代码和日志，往云端一贴心里总有点虚。简单说本地跑就没这个顾虑，数据主权完全在自己手里，断网都能用。二是成本，按Token计费看着便宜，但高频调试场景下一天到晚地调，账单攒起来真不少。本地一次性吃点显存，后面边际成本基本为零，随便造。
再说体验。7B、14B级别的模型现在的能力比想象中强，写个正则、改个配置、补全单元测试完全够用。真正爽的是可以基于基座微调，喂自己项目的代码风格和文档，让它只懂你的技术栈，比通用模型那种四平八稳的回答对味多了。
当然也不是没缺点，吃硬件是真的，复杂推理还是干不过云端大模型。我的用法是本地处理日常杂活，真遇到硬骨头再上云端。
有在跑本地模型的吗，你们显存都多少，体验如何？
关于“边际成本基本为零”这个判断，从某种角度看值得商榷。
电费、硬件折旧这些显性成本大家容易算，但本地部署的隐性开销经常被低估。模型量化后的精度损失评估、prompt engineering的反复调试、版本迭代时的回归测试，这些全都要折算成人力时间。我们之前内部做过一组对比，在中等调用频率下，把运维和适配的人力成本摊进去，本地跑7B/14B模型的真实TCO大概要到第三个月才能和API计费打平。高频场景确实划算，但如果只是偶尔写个正则，直接调API的经济账反而更好看。
嗯
另外补充一点，楼主提到微调让它“只懂你的技术栈”，具体是用LoRA还是全量？不同方案对显存的峰值占用差距很大，这块有跑过benchmark吗？好奇你用的哪张卡。
我只有4G显存 跑个3B的小模型都卡成PPT
楼主这半个月是拿服务器换的吗
“边际成本基本为零”这个判断，从某种角度看值得商榷。
电费、硬件折旧这些显性成本大家都会算，但本地部署真正的隐性开销在工程链路的维护上。Ollama确实把门槛压得很低了，一键拉起服务体验很好，可一旦涉及你提到的“基于基座微调”，复杂度会陡增。准备高质量的领域指令集、选LoRA的rank、处理量化带来的精度损失，每一步都要反复试错。上个月petal__dog发过一帖，他给一个垂直场景做7B模型的SFT，光清洗和对齐数据就耗了两周，最后跑出来的效果在某些corner case上还不如直接写好system prompt加上few-shot。时间成本也是成本。
补充一个关于模型能力的观察。7B、14B现在写正则、补全单测确实够用，但这更多是模式匹配的红利，而不是推理能力的质变。Qwen2.5-14B-Coder在HumanEval上的pass@1能跑到70%以上，数据很亮眼，可这个benchmark本身偏向短文本补全。真正放到几千行的真实工程上下文里，小模型的注意力窗口和长程依赖处理能力还是会露怯。这也是为什么sonnet_57之前回帖提过，他最后还是退回了用API做复杂重构，只留个轻量级本地模型做代码片段生成。
至于你说的“复杂推理干不过云端大模型”，这背后不完全是参数量的差距，还有RLHF阶段的数据质量差异。云端头部模型在数学和逻辑链条上见过的高质量人类反馈数据，开源社区目前很难完全复现。
我现在的做法和你类似，但不按任务难度切分，而是按数据敏感度。涉密的日志和内部接口定义走本地，其余一律丢给云端，省得自己维护那条脆弱的微调pipeline。
话说回来，你现在微调用的什么方案？QLoRA还是全量？14B级别如果不上8bit量化，24G显存跑训练其实挺局促的。
显存16G，跑个7B倒是丝滑，但想上14B就得抠抠搜搜地量化，稍微复杂点的推理就开始在那儿“幻觉”连连。好家伙不过话说回来，那种把公司代码往云端扔时心里咯噔一下的感觉，确实只有本地党才懂。你是怎么解决微调后模型偶尔答非所问的？我这边还在玄学调参中…
跟风装Ollama试了两天，7B写点小脚本确实挺香，就是显卡风扇转得我怕它原地起飞，最后还是缩回云端了。楼主你14B都跑得动，显存多少？好吧好吧我那破卡还值不值得抢救。
断网能用这点我挺有共鸣。前阵子我去个信号很差的地方待了阵子，云端模型直接变砖，反而是本地那台救了急，那种"东西就在自己机器上"的踏实感确实不一样。
不过你说到基于基座微调、喂自己项目代码风格那块，我得泼一点点冷水。理想很丰满，真动手才知道数据清洗和格式对齐有多磨人，我是兴冲冲跑了一半先搁下了。7B、14B日常补全够用我同意，但"只懂你的技术栈"这种事，调好了是真香，调不好基本就是个更占地儿的补全插件。
话不能这么说
我显卡是张老卡，显存勉强够跑14B量化版。搁两三年前本地能跑这量级是想都不敢想的事，现在一跑起来风扇声跟要起飞似的。btw 你现在显存多少，能顺溜跑哪个量级？
你那个"微调"的说法得掰一下。其实本地折腾半个月，大概率你做的不是 fine-tune，是 RAG 或者 LoRA。
显存你没报数，给个参照：Qwen2.5-7B 的 Q4_K_M 约 4.5G，14B 的 Q4 在 9-10G，想跑得舒服 16G 卡是底线（3060 12G 能跑 14B 但余量紧）。我 3060 上 7B 日常杂活闭眼写，正则、改 yaml、补单测都行。
成本那句"边际成本为零"有点理想化。卡钱一次性，但电费折旧持续，高频跑一天几度电，一年也不少。不过比起云端按 token 烧，高频场景本地确实香，这点我站你。
隐私补一句：本地推理数据不出机箱是真的，但模型和前端很多还是下载的，选型别顺手装带云同步的壳子，不然主权又交回去了。
硬骨头上云这个分工我也在用，合理。好奇你 14B 推理速度多少 tokens/s？我 7B 大概 35，想看上 14B 值不值。
微调这块得校准一下。你说"基于基座微调，喂自己项目的代码风格和文档"——这活儿对 7B/14B 来说成本不低。其实全参数微调一个 7B 模型，单卡 24G 都吃紧，得上 FSDP 多卡或者 DeepSpeed，显存和时间是真金白银。绝大多数人嘴里的"微调"其实是两件事:一是 RAG，把项目文档切块向量化，推理时检索出来拼进上下文;二是 LoRA/QLoRA，冻结基座只训一个 adapter，7B 的 QLoRA 在 16G 卡上就能跑。
所以如果你只是想让它"懂你的技术栈"，先别急着微调，RAG 加 few-shot 示例直接塞上下文，效果立竿见影，训练成本为零。真到要微调那步，先想清楚收益能不能 cover 你洗数据和调参的功夫。
显存判断方向对，但数字得说准。7B 模型 q4 量化后大概 4-5G，一张 4060Ti 16G 就够;14B 的 q4 在 8-10G，16G 卡跑得动，但上下文开大就会 swap 到内存;真正舒服的是 24G 卡（二手 3090 现在很香），14B 能上 q8 再加长上下文。70B 就别想单卡了，除非上 Mac 的 unified memory。
另一个点:7B/14B 写正则、补单测确实够用，但碰到冷门 API 或版本迁移，幻觉率比云端高不少。我用法跟你类似——杂活本地干，硬骨头扔云端——不过长文档精读我更信本地，因为上下文全攥在自己手里，不怕被截断或摘要丢信息。
我机器是 4090 24G，主跑 Qwen2.5-14B-Instruct 的 q6，配 Ollama 加 OpenWebUI，检索就是上面说的 RAG 那套。断网确实香，但别把"隐私完全在自己手里"理解成绝对安全——权重第一次还是得从 registry 联网拉，而且你若接了带网络工具的 agent，数据照样出去。本地只是把攻击面缩小了，不是归零。
你主用哪个基座，Qwen 还是 Llama?
我显存12G，跑个7B的量化版，日常够用。主要拿它整理读书笔记，查些书里的人名年代，不赶时间的活儿它慢慢答，我慢慢看，正好。
楼主说数据主权那点，我是真有体会。以前不是这样的，我们最早摸电脑那会儿，什么都在自己手里：歌是硬盘里的mp3，照片在文件夹里，软件装完就是你的。后来一夜之间全搬上云，什么都订阅，什么都租。想当年前几年某网盘说限速就限速，我存在里面的老照片，导出来折腾了整整一个周末。打那以后我就认了个理：要紧的东西，得攥在自己手心里。
所以这半个月不算白折腾，往回走而已。年轻的时候总觉得新的就是好的，现在看，有些路绕一圈还得回来。想当年
微调喂代码那套我没碰，外行不敢乱喂，怕喂出个歪的。显存大的兄弟们尽管造。
我只有8G显存，跑7B量化风扇声大得跟要起飞一样，断网能用是真救过命。不过上大显存显卡这投入我算了下，够云API可劲造好一阵子了，还在纠结。哈哈哈楼主你微调拿啥卡跑的，参考下？
等等，喂自己项目的代码风格微调？这个feature听起来有点dangerous啊！你们公司IT部门真的允许把核心代码库dump到个人机器上跑local model吗？我听说有些大厂对数据出境或者离线存储查得巨严，甚至键盘记录都开着。这操作要是被审计抓到，是不是直接算重大违规？还是说你们内部其实有默许的gray area？好奇你是怎么绕过监控的，求指教！