前阵子终于被电脑风扇的哀嚎逼疯了，开个IDE跟烧水似的，一咬牙把主力环境迁回了Neovim。说实话起初以为会痛苦，结果配了一周末之后居然有点上头：启动秒开，内存占用连原来零头都不到，老笔记本原地复活。
emmm
最有意思的是把Ollama接了进去，本地跑个量化过的模型做补全和解释，断网也能用，代码不出本机，这点对我这种有点洁癖的人来说太重要了。体验上肯定不如云端那些烧钱的方案聪明，但日常写测试、补类型、解释正则已经够用，而且那种"这环境完完全全是我自己攒出来的"的感觉，比开箱即用的订阅服务爽太多。笑死
配置坑主要都在LSP的客户端能力声明上，不同插件对补全源的抢焦点行为得手动调。插件方面我现在是blink.cmp加copilot.lua的本地替代组合，再叠一个avante类的侧边聊天，Lua配置大概三百行，回头整理一下放GitHub上。
有人也在玩本地LLM辅助编程吗？你们模型都选的哪个，7B级别的代码能力我还是觉得差点意思。
三百行配置换来风扇终于闭嘴，这笔买卖太划算了。我当年也折腾过一阵子，后来发现我最上瘾的不是省资源，是那种"这玩意儿每个毛病都是我亲手惯出来的"错觉。7B补全确实鸡肋，当个高级缩写器还行，指望它懂你意图就天真了。
三百行Lua配置…，说真的这工程量够你喝几壶的了~不过从风扇狂转的IDE逃回Neovim那种清爽感，懂的都懂，C’est la vie.
7B跑代码确实差点意思，写个正则还行，稍微绕一点的逻辑它就开始一本正经胡说八道。绝了你现在显存多大？要是能塞下14B量化版体验会好一截，Qwen2.5-Coder 14B最近口碑不错，本地跑起来不至于太拉胯。
LSP抢焦点那个坑我前阵子也踩过，几个补全源打架打得跟菜市场一样，最后全靠手动调优先级才消停。等你整理完丢GitHub记得贴个链接，我去抄抄作业。quill2004上次好像也在折腾Ollama接编辑器来着，不知道他选的哪个模型，可以把他摇出来聊聊。
7B觉得差点意思太正常了，这个体量的模型在代码生成上的瓶颈主要不在参数量，而在训练语料的清洗质量。补充一个数据：最近BigCode项目的几份评估报告里，经过严格去重和高质量过滤的3B模型，在HumanEval上的pass@1能跑赢早期粗放训练的7B甚至13B。所以单看参数量容易误判。
你提到用Ollama跑量化模型，这里有个值得商榷的细节。目前大家本地部署默认选Q4_K_M或者Q5_K_M这种GGUF量化，对日常对话影响不大，但写代码时对token预测的精度要求其实高得多。量化带来的分布偏移，在自然语言里可能被上下文兜住，到了需要精确补全类型签名或正则边界时就会暴露出来。之前quill2004在这个版面也提过类似的问题，他测下来发现同一模型从Q8降到Q4，代码补全的准确率掉了快五个点。其实如果显存允许，跑代码任务尽量别低于Q6。
其实
具体选哪个模型，看你侧重什么。纯补全的话，DeepSeek-Coder-V2-Lite的base版本最近表现很稳，16B参数但用了MoE架构，实际推理激活的参数只有2B多，内存占用比你想的低不少。git_cn上个月好像发过一篇对比贴，专门测了它在老机器上的延迟，你可以翻翻看。如果你更依赖侧边聊天来解释逻辑或者重构，Qwen2.5-Coder-7B-Instruct的综合能力目前是开源第一梯队，指令跟随做得比较扎实。
嗯
嗯另外你踩的LSP抢焦点那个坑，blink.cmp处理多source优先级的逻辑确实需要手动干预。建议把本地LLM的补全源权重调低，让它作为fallback而不是primary source。不然每次敲个.它都要等模型吐token，打字节奏会被打断。
三百行Lua配置挺克制的了，等你整理好放出来我去拜读一下。顺便好奇，你那台“原地复活”的老本子具体是什么配置，显存多大？这直接决定了你能跑多好的量化方案。
7B觉得差点意思很正常。从最近几个主流代码基准的评测看，14B基本是本地可用的一个分水岭，7B在复杂上下文里丢信息挺明显的。
具体选哪个得看你显存多大。如果是8G左右的卡，可以试试Qwen2.5-Coder-14B的Q4_K_M量化，跑Ollama刚好塞得下，补全和解释的准确率比7B那一档高不少。要是能上到24G显存，32B的模型体验会完全不一样。
另外你提到LSP客户端能力声明的坑，值得商榷的是，这其实不全是插件的问题。不同补全源的trigger characters定义有冲突时，blink.cmp默认策略确实容易抢焦点。建议在配置里把local LLM的priority手动调低一点，让它只在你停顿或者主动触发时才介入，日常还是让LSP主导，体感会顺很多。
三百行Lua攒出来的环境，跑起来那一下的风扇声都好听些吧。
看你描述"完完全全自己攒出来的"那种爽感，我莫名有点共鸣。亲手搭起来的东西总带着温度，哪怕笨一点也舍不得换。7B这块我外行不敢乱支招，但断网也能用这点真让人安心。
你这帖子让我想起前两年折腾的全过程。我那台老机器也是，VSCode 一开风扇直接起飞，邻居还以为我家在装修。
有个点挺逗的：你为了躲风扇搬去 Neovim，结果本地跑量化模型照样把 GPU 烤得冒烟，风扇该转还是得转。想当年从一个坑跳进另一个坑，但至少这回是你自己选的坑。别急
btw 你说的"这环境完完全全是我自己攒出来的"那股爽劲，我太懂了。以前不是这样的，早年用别人配好的 Neovim 发行版，总觉得自己只是个租客。后来把东西一样样换成自己写的配置，才踏实下来。这事儿跟用不用 AI 没啥关系，就是人想在自己的地盘上做主。
7B 那块我倒觉得别急。写测试补类型确实凑合，真要它理解业务上下文还是得云端。断网能用、代码不出本机这两点，对不少人来说比"更聪明"更值钱。你那个洁癖我举双手赞成。
回头 GitHub 整理好了发个链接？想抄抄你的 Lua 配置 (￣▽￣)
7B确实鸡肋。试试Qwen2.5
7B这个量级就别指望它能替你想清楚架构了，但补类型、写正则注释这些它其实够用，你感觉差意思大概率不是模型选错了，是量化压太狠。
我本地也跑着 Ollama，踩过同样的坑。Qwen2.5-Coder-7B-Instruct 比老一代 CodeLlama 强一大截，Q4_K_M 量化下 4G 出头就能跑，日常补 boilerplate 已经很舒服。真要上一个台阶就把 14B 的 Qwen2.5-Coder 拉进来，Q4 大概 9G，老笔记本显存或内存够的话体验直接换档。再往上 32B 确实好，但那种"完完全全自己攒"的爽感会被推理速度一点点磨掉。其实
你那个补全源抢焦点，根因在 LSP 的 capabilities 声明里 completionItem 的 preselect 和 resolve 行为撞车了，blink.cmp 里给 sources 排个优先级、把抢焦点的那路 auto trigger 关掉基本就消停。
你现在是纯 CPU 跑还是有个独显？独显的话 14B 完全值得试。
你那个"7B级别代码能力还是差点意思"的判断，我建议先拆开看。7B这个量级内部差异非常大，通用基座（比如Llama-3.1-8B）和专做代码的 Qwen2.5-Coder-7B、DeepSeek-Coder-V2-Lite 根本不是一回事。我前阵子折腾时对比过，让通用7B去补类型、写测试经常胡说，但换成 Qwen-Coder 之后，日常那点活儿的完成度能明显上一个台阶。
另一个容易被忽略的变量是量化档位。你说的"量化过的"具体是 Q4 还是 Q5/Q8？同一个模型我试过 Q3 和 Q5，补出来的代码质量差得挺明显，有时候真不是模型不行，是压得太狠把能力压没了。
所以你那边具体用的哪个型号、什么 quant 级别？报一下大家才好横向比较，不然"7B 不行"这个结论对后来人有点误导。
Genau! 断网能续命这点太顶了，我这破网一抽风就靠本地撑着。卧槽你跑的几bit量化？