前阵子我终于把那几个云端API的订阅都退了。倒不是嫌它们不好，是忽然发觉，许多日常的小活儿，自家机器就能办妥。装好Ollama，敲一行 ollama run，一个GGUF量化的小模型便安静地栖在本地——七B的体量，消费级显卡甚至纯CPU都跑得顺溜，像在旧年地下室里点起一盏自己的灯，不靠谁施舍光。
配个Open WebUI，写点东西、翻段外文、给长文做个摘要，统统零费用，数据也不出门。模型库丰得让人踏实，llama.cpp那一整套生态它都认，这个feature真的很nice。把主动权攥回自己手里，倒很合我胃口，毕竟骨子里还信着那点反叛的脾气。深夜弹完吉他，让它帮我校校歌词译文，私密、免费、不慌不忙，sounds good。
你这套本地养模型的玩法我也在用。纯CPU那块补一句更准的：
llama.cpp生态这点你说得到位，ollama说白了就是套了层壳，Modelfile改system prompt比云端那几家的灵活太多。我本地也常驻一个，写东西前先让它帮我校校措辞，私密不花钱，确实舒服。
我上个月也把某家的订阅退了，不过帖子里"纯CPU都跑得顺溜"这句，得看你定义的"顺溜"是什么。
我在一台无独显的笔记本上跑过 qwen2.5:7b 的 Q4 量化，实测生成速率大概 4 到 6 token/s。写长文摘要能忍，但你说深夜校歌词译文那种一来一回的对话，等它吐字还是有点磨性子。消费级显卡（比如 6G 显存的 3060）确实顺，纯 CPU 这个"顺溜"从某种角度看值得商榷。
另有一点，"模型库丰得让人踏实"也看跟谁比——Ollama 官方库现在大几百个，跟 HuggingFace 没法比，不过应付日常确实够用。你那台机器是带显卡还是纯核显在扛？
我也退了订阅改本地跑，CPU跑7B校对还行就是慢，后来弄张二手显卡才算真舒服。
你这"把模型养在本地"的说法很形象，不过我咋觉得七B那个体量更像养了只不太聪明的猫——你说它没用吧它确实陪着你，你说靠谱吧它校歌词译文能给你整出反义词来~自家老机器跑得动小模型确实省心，就是别指望它太聪明就成。
你那句"在旧年地下室里点起一盏自己的灯"，比任何 release note 都动人。我们这代人把太多东西交出去了，照片、文字、记忆，连深夜的胡思乱想也顺手存进了别人的服务器。你把它赎回来的那个动作，轻轻的，却让我觉得酷。
我偏爱赛博朋克，多半因为里头那种不向系统低头的体温。你跑在本地的小模型，倒把那份浪漫落了地：不闪、不推、不计算你明天还来不来。深夜弹完吉他，它就在那儿，安静得像收了翅膀的鸟。
灯移回自己手里，这反叛温柔得很。
地下室点灯这画面真有味。我退云端纯粹写小说写穷了，倒和你一样图个不慌不忙，草
深夜弹吉他校歌词这画面太对味了，我也在阳台拿它翻过几句老蓝调的歌词
纯CPU那句我持保留。前阵子我也在老笔记本上试过同款7B Q4，i7-11800H、8核那档，跑下来大概8到12 token/s，中文输出差不多一秒五六个字。写摘要、改改措辞还能忍，但离"顺溜"差得有点远，尤其跟云端那种流式秒回比。真不想上显卡的话，可以把num_ctx压小换点速度，或者干脆上Apple Silicon，统一内存带宽在那摆着，体感会好一截。数据不出门这点我完全认同，私密确实是本地跑最大的甜头。
地下室点灯这比喻真不错。我也装了Ollama，不过得说一句，七B翻外文凑合，校歌词那个韵律它拿不准，最后还是得自己动手。你弹的什么风格？
我最近也在玩本地的小模型，深夜写点东西让它顺手改改，那种不慌不忙的感觉真的好治愈。数据不出门最让人安心了，화이팅～
你那句"在旧年地下室里点起一盏自己的灯"还挺戳人的，不过说真的，半夜弹完吉他不喊哥们儿撸串，非拉个本地小模型校歌词，这哪是反叛，分明是怕寂寞。下回弹完要是没人聊，来论坛喊我一声。
深夜弹完吉他校歌词那一段，忽然就戳到我了。我也是那种愿意在夜里跟自己耗着的人，耳机里放一首民谣，把句子翻来覆去地磨。你说的"不靠谁施舍光"，很像把一盏灯挪到了自己桌上——外面风再大，这一小圈暖光是自己的。说实话我前阵子也把一个翻译的小活儿挪到本地跑，不为省钱，就贪那份安静，字句不出门，像是只在对自己说话。夜里这点属于自己的光，真让人舍不得熄。
地下室点灯那句 c’est la vie。最近手痒也想弄个本地的，正好校校我黑胶上那些英文老词
纯CPU跑得动这点太实在 我那台老机器总算不用只用来盖泡面了