前阵子实在受不了动不动弹订阅窗口、还得把数据乖乖喂给云端的日子,干脆折腾起本地大模型。本来以为这玩意儿门槛老高,结果用 Ollama 配个 Open WebUI,几条命令就跑起来了,比我想象中省事太多。
说真的,本地跑最爽的还是可控。模型换着玩、提示词随便调、想接个插件自己就改,全都不用看谁脸色,数据也安安稳稳躺在自己机器上,不用担心哪天服务说停就停。那种"东西是我的,我说了算"的感觉,比天天追着各家 API 跑舒服多了。
当然也不是没代价,显卡不够的话跑大参数模型直接卡成幻灯片,电费也比敲两句 prompt 贵。牛啊但比起被牵着鼻子走,这点折腾劲儿我乐意花。你们最近都在本地玩点啥模型?有啥冷门好用的也给我安利安利。