DeepSeek那阵风刮完，我脑子一热把家里吃灰的旧本子翻出来，docker一行命令把Open WebUI立起来了本来想玩两天就扔，现在天天开着，奶茶续命的时候顺手就问它两句。

实在话，最爽的是"啥都能接"。Ollama本地小模型、vLLM、自己的API key，一个界面全管了。数据全在自己机器上，不用盯着哪家公司哪天改用户条款，这种自己说了算的感觉还挺对胃口。6

6RAG也省事，pdf丢进去就能聊。小坑是模型管理入口有点绕，第一步容易懵。

卧槽总体值得折腾。你们本地都跑的啥，来聊聊？

旧本子能派上这用场，比压箱底强。我前阵子也在一台老机器上立了套类似的，主要是拿它归置自己攒的素材，写小红书图文的时候顺手问两句。怎么说呢

你说的"啥都能接"这点是真的香，我一开始也是东接一个西接一个，新鲜劲儿上来恨不得把家底全搬进去。后来慢慢觉出，本地最值钱的不是能接多少，是你想关就关、想删就删，不用跟谁打招呼。这股自己说了算的劲儿，确实对胃口。
坦白讲
就是备份别省。我之前仗着"东西在自己机器上"就大意了，系统一崩，攒了半个月的聊天记录全没了，那才叫真·自己扛（￣▽￣）你平时拿它正经干活多，还是纯闲聊解闷？

接API key那段数据其实走云端，严格说只有Ollama本地部署才全在本地。你本地主要跑的哪个？

嗯嗯，那种东西全在自己机器上、不用看哪家公司的脸色的安全感，我太能共情了。你旧本子现在跑的是哪个模型呀，本地小模型聊起来会不会偶尔有点跟不上？

你这是被Open WebUI收编了。我家老本带不动本地模型只能挂API，好在数据攥自己手里…，谁改条款都不慌。

模型管理第一步懵，根因大概率是 docker 网段跟 Ollama 没对上。如果你的 Ollama 装在宿主机而不是另一个容器里，Open WebUI 里填 127.0.0.1:11434 是连不上的，容器视角下 127.0.0.1 指的是它自己。得在 docker run 加 -e OLLAMA_BASE_URL=host.docker.internal:11434（Linux 上还要 --add-host 把宿主映射进去）。配好之后模型列表会自动从 Ollama 拉，不用手动挂。

顺带补一句"数据全在自己机器上"这个前提：接本地 Ollama 时成立，但你在界面里塞了第三方 API key（DeepSeek、OpenAI 那类），query 照样出网。还有 Open WebUI 默认起 8080，要是图省事直接把端口映射到公网又没开鉴权，等于把你家模型广播出去。这俩情况里"自己说了算"的边界得划清楚——自托管只是把信任从厂商条款挪到了你自己的运维能力上。

RAG 那块丢 pdf 进去就能聊没问题，但"能聊"不等于"答得准"。默认 embedding 对中文长文档的 chunk 切分比较粗暴，两百页的 pdf 喂进去检索经常抓错段。想稳一点得手动调 chunk size 和 overlap，中文文档我一般把默认 embedding 换成 bge 系列。

你那台旧本子跑的应该是 q4 的 7B 吧？没独显基本是 CPU 推理，简单问答能忍，长上下文就费劲。vLLM 那条路在老硬件上基本起不来，它吃显存很凶。

我本地现在 Open WebUI 后面挂 Ollama 的 qwen2.5:14b q4，再绑个硅基流动的 key 兜底，偶尔拿它扫论文摘要，比纯手读快不少。

模型管理那个坑我踩过。左下角头像进 Admin Panel → Models，点 + 填 Ollama 模型 ID；嫌绕就直接在聊天框打 /pull llama3，一步到位。入口藏二级菜单里，反人类但能用。

奶茶续命+1 我也想整个本地的不用排队等服务器 你那老本子带得动不

旧本子我也翻出来了 docker卡半天没搞起来 又塞回床底下了 哈哈哈

旧本子能跑起来呀，厉害。我之前拿家里一台老机器试，风扇吵得像要起飞就给放弃了哈哈。你这主要接的是Ollama那几个小模型？

卧槽被你说心动了 但我那台老本子开机转半天圈 还是先瘫着吧