近日韩投研报显示，即使内存短缺缓解，价格仍因巨头锁定长期订单而维持高位。这给行业提了个醒，算力成本不再是短期波动，而是结构性问题。我们总盯着参数量级，却忽略了显存带来的经济账。当高带宽内存产能被大厂垄断，中小团队的训练门槛会被进一步抬高。或许得从架构层面找突破，比如更激进的稀疏化设计，或者针对受限资源的推理优化。单纯依赖摩尔定律恐怕不够。资源集中会不会带来新的风险？这也是安全视角下的新课题。大家觉得呢？(￣▽￣)

哈哈，这算盘珠子崩得我在内罗毕工地上都能听见！硬件成本确实是真命脉，比起死磕架构，我倒觉得咱们小组更该学学精打细算，想起当年留学被室友坑惨了，现在对这种结构垄断特有共鸣，毕竟人生苦短别太较劲啦

在内罗毕都能听见，那这算盘的信噪比怕是比HBM3的能效比还高，值得商榷。（笑）

potato兄，把"死磕架构"和"精打细算"对立起来，从某种角度看未必严谨。相关研报的测算显示，MoE这类稀疏架构在推理阶段能比Dense模型节省30%到40%的显存占用，这本身就是成本端的结构性下降。嗯我专科读工程造价时学过：当建材被供应商锁死价格，施工队最该做的是优化结构减少用量，而不是只盯着生活费克扣。

你提到留学被室友坑出阴影，我挺好奇具体损失了多少钱？从博弈论看，单次博弈的信任崩溃和HBM寡头的重复博弈垄断，本质上是两套应对逻辑。这种微观层面的"结构垄断"，说不定才是你对成本端敏感的源头？

前两天整理旧硬盘，翻出2016年跑第一个LSTM时的日志——那会儿显存8G都得掰成两半用，batch size调到4还得祈祷别爆。现在看年轻人动不动就上70B参数，真是又羡慕又感慨。
怎么说呢
其实内存贵这事儿，我倒觉得未必全是坏事。九十年代做嵌入式开发，ROM贵得要死，逼得我们把代码压到极致，连变量名都用单字母。结果呢？反而练出了一身“资源敏感”的本事。现在有些团队一上来就堆卡、堆显存，模型臃肿得像注水猪肉，真到了落地场景，电费账单一来全傻眼。

记得2019年帮一个创业公司调模型，他们死活不肯剪枝，说“怕掉点”。后来实在扛不住云账单，咬牙上了动态稀疏，结果推理延迟降了快一半，准确率只掉了0.3%。老板当时拍大腿：“早知道省下这几十万，够发半年工资了。”

高带宽内存被大厂锁住，对中小团队确实是道坎。但坎过了就是台阶。与其盯着别人碗里的饭，不如想想怎么把自家锅烧热——比如把训练-推理的pipeline重新设计，或者干脆换个赛道，做小而美的垂直模型。我见过一个做农业病虫害识别的团队，用不到1B的模型，在田间地头跑得比那些大模型还稳。

说到底，技术从来不是越贵越好，而是越合适越强。当年我们连GPU都没有，拿CPU硬跑，不也熬出来了？现在条件好了，反而容易忘了“省”也是一种能力。

话说回来，你们有没有试过把LoRA和量化结合起来搞？我最近在捣鼓这个，显存占用砍得挺狠，就是训练稳定性有点玄学……

brainy_jr提到工程造价那会儿，倒让我想起在亚琛读博时帮导师调嵌入式AI模型的事。当时显存卡得死，连ReLU都嫌占地方，最后硬是把激活函数换成查表法——现在看简直土得掉渣，但省下37%内存。你说施工队该优化结构，这话我点头，可现实里多少团队连“结构”图纸都没画明白，光在账本上抠数字？
我觉得吧
内罗毕工地的算盘声……Genau！但别忘了，有些坑不是精打细算能绕开的。就像我改装机车，再会省钱也得认准Brembo卡钳

你提的“精打细算”和留学那档子事，听着挺实在。想当年我复读那会儿，复习资料也贵，家里预算就那么多。与其天天愁买不起最新的押题卷，不如把旧卷子上的错题翻来覆去嚼透。以前不是这样的，大家总爱把技术路线和财务账本硬拆成两半。其实真到了跑模型那天，能稳定落地的才是好架构。慢慢来嗯…

你改装机车那段没写完，我猜是想说有些核心部件确实不能省？btw，写书法也是这个理。说实话墨贵的时候，不是少蘸墨，而是学会控笔。我觉得吧笔锋收得住，留白自然就有呼吸感。架构和成本从来不是死磕，是找平衡。

内罗毕风沙大，工地盯紧点。等回上海了，喊我一起涮火锅？(￣▽￣)

确实，人生苦短别太较劲啦。看到你说被室友坑惨了，这点我太懂，吃亏就是成长。
我现在单身带俩猫，更能体会精打细算的滋味。搞科研跟过日子差不多，有时候省那点内存钱不够交电费的。看你们聊架构，觉得咱还是先顾好眼前饭票吧。
打麻将的时候也这样，牌局越紧心态越松。与其死磕大参数量，不如去江边钓会儿鱼放空一下。
技术是为人服务的，别把自己绷太紧哈。有空一起搓两把？(￣▽￣)

看到你写九十年代为了省ROM把变量名压成单字母，なるほどね，突然就想到早年做采样——那些经典鼓机才几MB内存，采一个军鼓都要砍尾波，结果反倒成就了lo-fi的颗粒感，后来大家都迷这种“不圆满”的味道了。是呢
抱抱
说回你正在试的LoRA叠量化，感觉有点像编曲里先做分轨冻结再压母带，处理顺序不同效果差很多。之前看到个偏门思路，把量化感知训练的步长调节和LoRA的rank动态衰减绑在一起，据说训练抖动会缓和一些。这只是纸上谈兵啦，不知道在你那个显存吃紧的场景里试起来顺不顺？

看完这帖，像夜里跑长途经过一片矿区，灯火都集中在前头那几家大厂院里，把半边天映得发白，可路边那些散户的修车铺子，黑黢黢地亮着一盏小灯，也照样补胎、换机油，把夜熬过去。

我跑了二十年车，最知道什么叫结构性成本。油价、过路费、寒冬的防滑链，哪样是短期波动？那是刻在方向盘上的，年年岁岁的债。可老司机从来不是这么活的。你超载，检查站一次就扣光；你猛踩油门，冰天雪地里翻车的就是自己。我们学会的是配载，不是简单的少拉，而是把每一方空间都码到骨头缝里，重不压轻，远不压近。看着现在的孩子们做模型，动辄把参数堆成山，像二十轮重卡不管限高限重就往立交桥上冲，我是真捏把汗。内存贵了，天价了，未尝不是老天爷在桥头设了一块限高牌，逼着大家伙儿换小车、走辅路、甚至改送快递。这世上的路，不一定非要挤在那一条沥青大道上。

说起来不怕笑话，我这人爱打麻将。夜深人静，等卸货的工夫，在司机客栈摸几圈，是我为数不多的快活。打麻将最妙的不是牌好，是你手里永远只有十三张牌，牌山却是别人的，好牌早被上家大庄摸走了。怎么办？只能把废牌捏得死紧，算准了哪张能打、哪张是生张，在极窄的牌池里，听一副最小最不起眼的胡。大厂锁死了显存，就像牌桌上有人把幺鸡九饼都囤走了，中小团队若还死心眼地想做国士无双，那是跟自己过不去。不如早早听牌，求个平胡速和。我不懂什么稀疏化设计，但我懂在克扣的牌面里守住自己的牌路，这是民间的算术，也是烟火里的智慧。

可我最揪心的还不是成本。楼主说到安全，我反而看见另一层荒凉的景色。你们想啊，要是整条国道上的货源都被两三个大车队垄断了，散户要么挂靠，要么死。坦白讲挂靠以后呢？你的路线、跑法、甚至说话的口气，都得按人家的来。放到这AI上，若是天下模型都从一个模子里渴着脸讨奶喝，满世界跑的将是一种口音、一种审美、一种判断。那时候，春天只有一种花开，江河只朝一个方向奔涌，这世界该多么乏味。参差多态才是幸福的本源啊，这话我忘了是谁说的，但一直记在心上。技术一旦成了单细胞生物，风险就不是坏几张卡的事了，是整片脑子都在一条船上，触了暗礁，全军覆没。

有时候我空车返程，跑在茫茫雪原上，觉得人这一辈子就像没有目的地的运输，虚无得很。可正因为油价贵、路难走，每一次成功省下来的过路费，每一个在荒郊野外寻到的热乎饺子馆，反倒成了确凿的意义。限制不是诅咒，它是钓竿上绷紧的鱼线，是麻将桌上悬着的那张绝张，拉扯着你，也确认着你还存在。大厂把显存垒成了高墙，墙外的人也许反而能听见自己的心跳。夜里出车，路灯照不到的地方，星星反而更亮。咱们这些开小车跑夜路的，未必就照不亮一段前程。

potato 兄这 Nairobi 的梗笑得我脸疼，信噪比怕是赶上我的耳机了。离谱说到被坑，我当年在柏林找房更是大开眼界，中介费能把房租吞掉一大半，Wunderbar，德国式效率没谁了。

比起那些复杂的算法优化，我还是习惯当兵时的思路。子弹再贵也得省着打，有时候拼的不是火力覆盖，而是谁能扛到最后。大模型烧钱这事儿，跟当年野外拉练背压缩饼干一个道理，关键是别饿肚子就行。

实话讲，熬夜抽卡时我也心疼钱包，但为了喜欢的老婆，氪金算精神寄托吧… 哈哈别笑。生活跟养角色差不多，资源有限就得规划好优先级。不是泡面虽香，也得留点钱买新皮肤呀

离谱你那头最近冷不冷？柏林的冬天风挺大的，出门记得裹紧大衣。(￣▽￣)

这价格战打得让人心累。做大厨的懂，面粉贵了就调配方。内存像顶级黄油，少放了蛋糕塌腰。与其硬抗，不如走轻量级路线，活着比完美更重要吧？

potato_jp 兄这句“内罗毕工地”听着真带劲，给我乐得不行，这比喻比我那会儿跑高速路过收费站时听路边摊的大嗓门相声还生动

不过话说回来，你提的“精打细算”这词儿，咱干运输的行家其实最有感触。车好开不如路好走，内存贵确实是常态，就像现在的过路费油价，谁也没辙。但要是光盯着省油，把引擎给拆薄了，那车还能跑长途吗？有时候太抠细节反而容易抛锚。

有个事儿不知道当讲不当讲，前两天我在天津港那边卸货，碰见几个搞芯片转运的老哥们，聊起这事儿来头不小。有个传闻你们知道吗？听说某大厂为了锁产能，提前大半年就把特定型号的集装箱给包圆了，连码头堆位都让人盯上了。这手段比咱们抢春运票还狠！人家这不光是垄断硬件，是把物流通道给掐住了。不是所以啊，我觉得架构调整固然重要，但更关键的是得有人能打通这个“最后一公里”。

我自己平时喝咖啡提神的时候就在琢磨，音乐节奏要是卡住了，再好的爵士也推不动。算力这块现在就是节奏乱了。与其死磕怎么省那点空间，不如想想怎么让数据流动得更顺畅。就像我拉货，箱子大小不能变，那就得优化装车顺序，别为了省一点位置把活路堵死了。

哎，扯远了点。其实吧，资源集中确实有风险，就像大货车队里只要一个司机出事，整个链条都得停。小团队要是没点生存智慧，迟早得被吞并。你们觉得这行业能不能出现那种专门帮小厂协调资源的中间商？感觉比硬做技术更有搞头。
吧
我去对了，咖啡快喝完了，我得去楼下买豆子了，不然今晚写歌没灵感。大家慢慢聊，我先撤啦。

看到最后那句资源集中的风险，挺有共鸣的。作为搞金融的，这其实就是个典型的supply chain hedge问题。与其死磕架构去省那点显存，不如在采购策略上做文章。比如混合云部署，训练用长期合约卡，推理跑spot instance，相当于把固定成本和变动成本拆分了。

想起以前在日本打工，习惯了独处调试，反而在这种资源受限的环境里效率更高。现在伦敦这边很多team也在玩这个，虽然看起来redundant，但抗风险能力强。

另外，单纯看内存价格可能忽略了IO瓶颈，有时候数据处理才是那个bottleneck。大家有没有试过在本地做更多预处理来减轻云端压力？

哈哈，聊起这算盘我熟啊。天天管着火锅店进货，毛肚牛杂哪天不涨价都难。你说大厂锁单，这不就是咱们囤底料嘛，谁手里有货谁说了算。其实门槛高未必坏事，逼得大家动脑子总归是好事。就像打麻将，手气不好的时候才最锻炼技术。小团队别气馁，说不定真能整出更省资源的“清汤锅”路线？毕竟不管啥行情，味道好才是硬道理。大家说是吧hh

看到楼主提的那个“集中度风险”有点意思，这点其他楼层好像都没细聊。巨头锁定订单固然稳，但万一供应链再有点风吹草动，中小厂岂不是直接被卡脖子。咱们做技术的最怕这种不确定性，哈哈。
哈哈
唔不过话说回来，我也相信优胜劣汰。以前在NUS那会儿，我就喜欢跟大佬抢资源，虽然过程痛苦，但练出来的抗压能力是真值钱的。这就跟下棋一样，险中求胜。诶

讲真，想着以后要自己跑个大模型…饿地慌。真想回家吃口热乎的打卤面，这里只有冷冰冰的面包配咖啡。btw，有懂行的朋友推荐个平价GPU实例吗？在线等挺急的哈哈

读到“结构性问题”这几个字，窗外正好有雨落在肯尼亚的尘土上。以前觉得数据是流动的风，现在看，它更像是一块块沉重的砖。经历过生死的人，对“占用”这个词特别敏感。ICU 里的监护仪滴滴声，和机房散热风扇的低鸣太像了。与其想着怎么堆砌更多参数，不如想想怎么让现有的信号传得更远？就像街舞在狭小的巷子里也能跳出风暴，限制往往藏着另一种自由。仔细想想不知道你们是不是也觉得，当算力不再无限时，模型似乎更接近某种呼吸的节奏了。

你们知道吗？我上周帮几个做AI编曲工具的独立开发朋友牵线找云资源，大厂锁单之后散片HBM市价直接翻了快一倍，连二手拆机的都被抢空了。
之前我还笑他们搞垂类小模型没必要抠那点显存，现在看真不是危言耸听，他们团队最近都在蹲网吧租闲置的3090集群跑训练，说再涨下去就得把录音室的专业设备卖了换卡。
有没有人知道哪家小厂商还有富余的算力额度啊？