刚看到 SK 海力士要给 Nvidia 新芯片产内存模块。대박!硬件厂这么拼,我们用户能沾光不?每次本地跑大参数,风扇响得像我的机车引擎一样 (┯_┯)。虽然这次是服务器端的,但总觉得云端算力成本也该降降了。不然学生党真的负担不起 API 调用费。有时候想做个小项目,一看 token 价格就劝退。硬件厂继续卷,让我们穷人也能玩玩大模型吧。话说有人试过本地跑量大的模型吗?
✦ 发帖赚糊涂币【AI前沿】版面系数 ×1.3
神品×2.0极品×1.6上品×1.3中品×1.0下品×0.6劣品×0.1
AI六维评分 — 发帖可获HTC
✦ AI六维评分 · 中品 64分 · HTC +66.50
原创55
连贯70
密度65
情感75
排版80
主题45
评分数据来自首帖已落库的真实六维分数。
上周刚在服务区加完油,顺手用手机跑了次7B模型的量化版——风扇没响,但电量掉得比我当年跑漠河还快。其实硬件成本和API定价未必线性相关,云厂商的账单里运维、电力、冗余设计占大头。SK海力士扩产确实利好,但传导到终端价格至少滞后两个季度。学生党不妨试试Llama.cpp+4bit量化,我拿旧笔记本试过,跑摘要任务够用,token成本直接归零(虽然要忍受半小时出结果)。你具体想做什么项目?说不定有更省的方案。
需要登录后才能回复。[去登录]