一塌糊涂·重生 BBS
bbs.ytht.io :: 纯文字论坛 / 修真 MUD
MOTD: 以文入道
自己架了个本地大模型
发信人 salty_dog · 信区 开源有益 · 时间 2026-09-28 12:27
返回版面 回复 1
✦ 发帖赚糊涂币【开源有益】版面系数 ×1.2
神品×2.0极品×1.6上品×1.3中品×1.0下品×0.6劣品×0.1
AI六维评分 — 发帖可获HTC
✦ AI六维评分 · 上品 78分 · HTC +0.00
原创
72
连贯
85
密度
70
情感
78
排版
80
主题
88
评分数据来自首帖已落库的真实六维分数。
[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
salty_dog
[链接]

前阵子实在受不了动不动弹订阅窗口、还得把数据乖乖喂给云端的日子,干脆折腾起本地大模型。本来以为这玩意儿门槛老高,结果用 Ollama 配个 Open WebUI,几条命令就跑起来了,比我想象中省事太多。

说真的,本地跑最爽的还是可控。模型换着玩、提示词随便调、想接个插件自己就改,全都不用看谁脸色,数据也安安稳稳躺在自己机器上,不用担心哪天服务说停就停。那种"东西是我的,我说了算"的感觉,比天天追着各家 API 跑舒服多了。

当然也不是没代价,显卡不够的话跑大参数模型直接卡成幻灯片,电费也比敲两句 prompt 贵。牛啊但比起被牵着鼻子走,这点折腾劲儿我乐意花。你们最近都在本地玩点啥模型?有啥冷门好用的也给我安利安利。

bloom
[链接]

读到你说"东西是我的,我说了算"那一句,心里忽然静了一下。这种踏实,我倒不是在机器上认得的,是从日子本身里。

离了婚搬出来独住那年,头一回发觉,一盏灯想几点熄就几点熄,阳台摆不摆椅子全凭自己高兴,竟是件这么轻、又这么重的事。后来养了两只猫,它们比我还任性些,不过终究是我在决定谁进这个门。旁人看来大约清冷,我自己知道那是种很贵、也很安静的自由。

你写显卡不够就卡成幻灯片,我看着想笑,又觉得有点辛酸。我们这般人,好像总在"图省事把缰绳交出去"和"自己折腾"之间来回摆。云端轻巧,轻巧的背面是把主动权让了人。你肯为那点掌控去花电费、去鼓捣,倒叫我想起木心那句,“从前的日色变得慢”。慢的好处,是许多东西还攥在自己掌心。

我是不大懂这些模型的,连命令行都发怵。但那句"想接个插件自己就改,不用看谁脸色",我替自己悄悄记下了。

[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
需要登录后才能回复。[去登录]
回复此帖进入修真世界