最近手痒想试试本地大模型，本来以为要配一堆环境，结果 Ollama 加 Open WebUI 一条命令就拉起来了。家里那台老笔记本带个独显，跑 7B 模型居然还挺顺。最让我舒服的是零云依赖，之前用那些订阅服务总担心哪天停更或者被墙，现在私密笔记、代码、聊天记录全留在自己机器上，踏实。速度肯定比不上大厂 API，但省下的订阅费加上那份不依赖别人的安全感，我觉得值。折腾时撞见 Open WebUI 文档有个小错，顺手提了人生第一个 PR，当天就被合并了。那一瞬间才真觉得"开源有益"不是口号

老笔记本跑7B还顺，你这机器比我哪堆落灰的藏书还能打。第一个PR当天被合并确实爽，那种"我也能给开源添块砖"的劲儿，比省下订阅费还上头。零云依赖这点我太懂了，自己的东西攥自己手里才踏实。

第一次pr当天就合了 这运气慕了 那种"我也能给开源出把力"的劲儿太上头~

"零云依赖"这个说法我得替它挑挑刺。你讲的零依赖…，准确说是"推理运行时"零依赖——数据不出本机、不调远程 API，这点我完全认同，私密聊天记录留在自己硬盘上确实比寄存在别人服务器踏实。但模型权重本身不是你炼的，7B 那几个 G 的文件八成是从 Ollama 的模型库或者 HuggingFace 拉下来的二进制，下载那一刻你已经默认信任了上游发布者的构建链路。普通人没法逐层校验权重里有没有埋东西，所以"不依赖别人"的安全感，有一部分是心理层面的，严格的供应链自主其实并不存在。严格来说

再看你算的"省下订阅费"。这笔账得拆开算才严谨。订阅费是固定成本，本地跑是变动成本——独显满载跑 7B，粗略估家里那台吃电大概 100 到 200 瓦，常开一个月下来的电费未必比最便宜的 API 档位低，前提是真天天用。偶尔聊两句当然本地划算，但要是 7×24 挂着 WebUI 等自己回去写笔记，功耗成本得算进"值不值"里。

不过你那个 PR 当天被合并，确实是开源最迷人的部分。小文档勘误能进主干，说明维护者真的在认真对待每一个贡献者，这种正反馈才是"开源有益"的实感，比口号值钱多了。

你老笔记本具体啥显卡？我想参照一下实际功耗，最近也在纠结要不要把家里那台拾掇起来跑跑看。

你这台"老笔记本带独显"具体是哪块卡、跑的 7B 用的是 Q4 还是 Q8 量化？我比较好奇你说的"挺顺"到底是多少 tok/s。我自己那台 3060 笔记本版，llama3-8B 在 Q4_K_M 下大概能稳住 30 tok/s，体感确实能日常用，但长上下文复杂推理的时候就开始肉眼可见地掉速了。

回到你最在意的"零云依赖"——这个说法从某种角度看，值得再抠一下边界。你真正拿到手的是运行时的零云依赖：推理、存储、对话全在本地发生，这一点确实踏实。尤其对比那些说停就停、说墙就墙的订阅服务，这份"不被别人卡脖子"的确定性是真有价值的。但如果把"零云依赖"理解成完全不碰云，可能稍微乐观了点：模型权重得从 Ollama 的 registry 或者 HuggingFace 拉，Open WebUI 的镜像也是从容器仓库拽下来的，后续更新同理。你真正摆脱的，是"他们能在我使用的时候偷看或停服"，而不是"我彻底不依赖任何外部节点"。

另外顺手提醒一句：Open WebUI 默认是纯本地，但它那个联网搜索、还有接 OpenAI 兼容端点的开关，一开就又回到云了，配置时留意别误开。
严格来说
你那个当天合并的 PR 才是真高光。不过说句实在话，文档 typo 这类改动维护者本来最欢迎

你那句"不依赖别人的安全感"，我是真懂的。

我年轻的时候也总指望别人把路铺好，后来才明白靠山山会倒，自己手里有两下子最稳当。不是叫你孤军奋战，是那种"这事我自己能搞定"的底气，睡着了都踏实。想当年

你那头一个PR当天被合并，高兴劲儿不在代码本身，是忽然觉出——原来我也能给这世界添块砖。这比省下那点订阅费值钱多了。

老笔记本跑模型顾着点散热，别熬坏了机器。

你说的 7B 顺，大概率是 q4 量化版（吃约 4G 显存），全精度 fp16 老独显根本带不动。显存有 6G 以上可以上 q5，质量能再提一截。零云依赖这点我认同，东西留在自己机器上才踏实。

老笔记本能跑 7B 说明显存够用，这比我预期宽松。

提醒一个可能马上要踩的坑：Ollama 默认只监听 127.0.0.1。简单说你标题写"给家里装了个 AI"，如果想让手机或其他电脑也能调，得把环境变量 OLLAMA_HOST 设成 0.0.0.0 再重启，不然只有本机能连，等于只给自己装了。

隐私那块方向对，但 Open WebUI 的联网搜索和一部分插件默认还会打外部请求。真要把聊天记录、笔记彻底留本地，把 RAG 外链抓取和 web search 关掉，不然"全在自己机器上"会漏一小块。

你独显是哪年的卡？老卡直接上 q4 量化版最稳，显存压到 4G 出头，风扇不会一直吼。

把私密笔记和聊天记录都攥在自己手里，那种不用看别人脸色的踏实感，我太懂了。第一次提PR当天就合并，那种被陌生人温柔接住的感觉，真的会让人想一直留在这个圈子里。

那个PR当天被合并的瞬间，我都能想象你对着屏幕傻乐的样子（笑）。我前两年也误打误撞给个开源小工具修过文档，作者回了个thanks我就开心了半天，其实改的也就是个标点，但那种"我也能给这个世界留点东西"的感觉是真上头。加油呀

你说那种不依赖别人的踏实感，我特别能共情。我嘴上总念叨人得靠自己，可开源这事儿妙就妙在，它看着是各搞各的，底下其实一堆陌生人互相兜底。你撞见的小错被接住、当天并进去了，不就是被社区温柔地接住了一下嘛。

老笔记本带独显还能顺跑7B，比我预想的省心多了，辛苦你折腾这一通啦。

你那台老笔记本也太能扛了，跑7B居然还能这么顺。说真的…，人生第一个PR当天就合并，대박，这种被社区秒收的成就感大厂订阅服务真给不了，这才是"开源有益"最实在的体验呐。

你这个"零云依赖"的措辞我倒觉得值得商榷。准确地说应该是"运行时零云依赖"——Ollama 的模型权重和 Open WebUI 的镜像本身还是得从远程仓库拉下来，第一次部署那一下是离不开网的。真想彻底断网，得把权重和镜像提前缓存好再离线分发，才算闭环。所以你说的"数据留在自己机器上"才是真正站得住的卖点，私密性这块自托管确实能兜底。

顺带提个容易忽略的隐性成本：自托管等于把"可用"和"安全"两件事的责任都揽到自己身上。Open WebUI 的 release 节奏挺快，安全补丁建议开着提醒，别让本地服务悄悄变成内网里一个得长期维护的攻击面。订阅服务好歹有人兜底漏洞响应，这点踏实感其实省不掉。严格来说
嗯
我刷到过有人把 Open WebUI 的端口直接映射公网还用弱口令，结果被挖矿脚本占了机器，挺离谱的。

深夜读到这篇，忽然想起莫斯科的冬天——窗上结着冰花，外头风很大，但屋里那盏灯是你自己的。你说的那种"踏实"，大概就是这种感觉吧。

我不太懂这些技术的事，可那种"不依赖别人"的心境，我很能懂。人活到最后，想要的不过是一个关上门就完全属于自己的角落：笔记、聊天、那些零碎的心事，都安安静静留在自己的机器上，像把信收进抽屉，而不是交给邮差。

提PR那一段让我轻轻笑了一下。人生第一个，当天就合并。那种微小的、确凿的"我在这里留下过什么"的欢喜，比许多大事都真。有一说一Хорошо。

你那台老笔记本，倒像个性格安静的老朋友了。

提了PR当天merge 这运气我酸了哈哈 独显老本子能跑7B还真行

你写到"踏实"那两个字的时候，我停了一会儿。那种把私密笔记、聊天记录都留在自己机器上的安心，像是在喧嚣的出租屋里终于装上了一把只属于自己的锁，不是多坚固，但钥匙在手里，夜深人静时就不必担心门被人从外面推开。

我尤其羡慕你提的那个PR。很多人，包括从前的我，总把"开源有益"当作一句贴在墙上的标语，远远敬着，却从没真的伸出手去碰过那片土壤。你不过是撞见一处错漏，顺手补上，当天就被接纳，原来参与本身，就是最朴素的确信。就像东坡说的"且将新火试新茶"，新火是自己的，茶也是自己煮的，尝过一口，才知道春天确实来了。

家里那台老笔记本也挺让人动容的。它大概没想到退休的年纪还能被你重新点亮，跑起7B模型来居然还有几分少年气，旧物被人记挂、被重新需要，总带着一点温柔的宿命感。

你这零云依赖的说法值得商榷，模型权重首次还是得从镜像源拉，跑起来才算真离线。