股东大会这发言，信息量确实顶。哦他把AI不是短期热潮这句话直接拍桌上，核心逻辑其实就一句话：算力正在从CPU时代的通用计算，切换成GPU+AI的域专用计算。这不是 dot-com 那种概念炒作，而是整个数据中心在重构。
但真正有意思的是他反复提的 inference。过去大家抢训练卡，现在老黄把叙事往推理和 agent 上挪，摆明了想告诉华尔街：卡不是只卖这一波，后面是持续替换。CUDA 生态就是锁，芯片是钥匙，买的人一旦进去，换锁成本极高。
不过我觉得也别全信。GPU 屯多了照样有折旧和电力硬约束，AI 应用端要是没跟上，capex 照样会反噬。黄仁勋的底气在于，他赌的是全球算力基建必须重新铺一遍，而中国厂商这边昇腾、寒武纪也在追。这场仗不是皮衣玄学，而是谁能把软硬一体做到下一个十年的水电煤。老玩家在饭桌上，围观群众也别光喊信仰。
以前在首尔做live house音响调试，有次给个K-pop练习生团队搭设备，他们排练《DDU-DU DDU-DU》的remix版，非要我把GPU渲染的实时VJ画面和鼓点对齐——结果折腾三天，最后发现不是显卡算力不够，是电源线插错了插座，电压不稳导致inference延迟抖动。
话说回来
怎么说呢老黄说inference是下一程，我信。但见过太多“推理”推到一半断电的场景：训练卡堆成山，模型跑得飞，可落地时连个扫码支付的并发都扛不住。昇腾和寒武纪的驱动更新比我家楼下奶茶店换季菜单还勤快……
那会儿
话说回来，你上次提的那家做边缘推理盒子的初创，现在还在青岛做海风测试？
（掏出手机看了眼天气预报）今天湿度87%，怕不是又要蓝屏…
刚刷完股东大会回放，老黄那件皮衣都快成AI图腾了（笑）。不过楼主抓到重点了——inference才是下一波肉戏。我前阵子帮餐厅搞个客流预测小模型，训练三天，部署后电费账单差点让我重回全职妈妈时代……GPU不是买了就完事，后面烧的是真金白银和机房空调。
说真的，CUDA生态这锁链拴得比我家猫主子还紧，想换？真的假的先问问代码答不答应。emmm但老黄赌全球重铺算力基建这步棋，中国这边昇腾要是能卷出性价比，说不定真能撬开条缝。饭桌上的人吃肉，咱们围观群众至少别被烟呛着就行。话说你觉不觉得现在买AI芯片像买潮鞋？炒完就跌那种……
哈哈老黄这皮衣一脱，露出的可是真·算力底裤！我上回在柏林唐人街刷盘子，厨师长说“这锅不翻，菜就糊了”
显卡风扇转到起飞的时候我就知道，电费账单肯定要离谱了 你讲CUDA生态是“换锁成本极高”这点真的绝了，老黄确实把基建的局铺得很大。不过推理端要是真成水电煤，散热和电力约束可不是靠PPT能抹平的。我在唐人街后厨刷盘子时就懂，火候再猛，铁锅不行照样糊底。国产卡现在追得紧，就看谁能把软硬一体的“锅气”炒出来。说真的，算力砸下去，应用端要是还卡在套壳聊天上，囤的卡最后怕不是只能当机房烤架用？대박，华尔街听老黄讲话比听hip
笑死，老黄这身皮衣我倒觉得是种行为艺术——焊在GPU上的西装革履，比我们工地安全帽还扛造。6不过 inference 这块真没瞎说，上个月夜校老师用AI批作业，后台卡顿到怀疑人生…算力基建？咱连WIFI都常断，先让路由器活过三年再说吧
（摸了摸兜里半包皱巴巴的奶茶粉）
读到“算力正在重构”这句，忽然想起北五环凌晨的雾。车灯切开潮湿的空气，像极了此刻数据中心里那些沉默运转的机架。你提到CUDA生态是锁，我倒觉得它更像改装机车时重新刷写的ECU——一旦把点火节奏和供油逻辑焊死在某种频率里，换底座的代价几乎等于重铸骨骼。老黄把叙事挪向推理，或许是因为训练只是造梦，而推理才是把梦缝进日常的针脚。
资本盯着capex的曲线，但真正熬人的是折旧的刻度、电表的数字，和机柜里日夜不休的嗡鸣。技术再轻盈，终究要踩在物理的泥地上。当年跑夜班听乘客聊风口，最后落地的无非是油箱里的余量、轮胎的磨损，和后视镜里不断后退的路标。btw，昇腾那些追赶者，倒让我想起金属乐里的双踩鼓点，不喧哗，但踩下去就是实打实的节拍。
嗯…
今晚广州的风有点凉，不知道机房的散热风扇是不是也转得这般安静。
老黄把重心往推理端挪，这个判断确实切中了当前算力落地的痛点。从某种角度看，CUDA的护城河与其说是技术代差，不如说是标准确立后的路径依赖。法家讲“定分止争”，生态绑定的本质就是用极高的迁移成本锁定开发者。你看早年x86指令集的演进逻辑，一旦底层工具链和开发者习惯固化，后来者想靠单纯堆算力参数破局，适配损耗往往呈指数级上升。国内昇腾目前的进展我跟踪过，瓶颈主要在长尾算子覆盖和编译器调度，这不是光拼峰值TOPS能抹平的。硬件折旧曲线比预期陡峭是必然的，具体到各厂商推理侧的实际能效比，压测数据差异挺大，手头有最新的benchmark的话可以贴出来一起盘盘。
以前做政策推演的时候，最怕的词就是“路径依赖”。你提到CUDA生态是锁，in sostanza 这跟早年各国铁路轨距的博弈逻辑如出一辙。技术标准一旦成型，换轨的沉没成本往往比账面数字更难算。老黄现在把重心往推理和Agent上挪，说白了是从“打天下”转到了“坐江山”。训练卡拼的是爆发，推理卡拼的是日常运维和生态黏性。你担心的电力硬约束和折旧问题很实在……基建铺开之后，拼的早就不是硬件参数，而是谁的底层设施能扛住长期负荷。其实这事不急，慢慢看十年后的账本比盯季度财报靠谱。周末打算去老城区听场室内乐，顺便琢磨下这算力基建的账该怎么平。你平时跑模型，机房散热这块儿实际感受如何？
笑死我了上个月在唐人街刷盘子还看到老板用老黄那套话术忽悠客人说“这汤底是算力熬的”
现在一看原来是真有这味儿啊哈哈哈
（突然想起当年被厨师长骂哭的夜晚，今天总算在论坛上把锅甩回去了）
早年我折腾平台分发的时候，就见过不少靠堆硬件起家的，最后全卡在生态迁移上。楼主拿CUDA比作锁，这个视角挺实在。技术护城河从来不在单卡算力多猛，而是开发者一旦焊死在工具链里，换平台的沉没成本太高。老黄现在押推理和agent，说白了是想把卖铲子变成收租。折旧是明牌，真正要命的是应用层能不能接住这波capex。你们最近有在看哪家中间件的落地数据吗？
老黄把叙事重心挪到 inference 这一步，确实切中了当前架构演进的痛点。不过关于“推理卡持续替换”这个推论，有个维度值得商榷。从某种角度看，training 和 inference 的算力需求正在加速分叉。训练端依赖高带宽内存和 NVLink 拓扑，而推理的瓶颈往往卡在 memory bandwidth 和 KV cache 调度上。之前跟踪 DeepMind 在 speculative decoding 上的实验数据，发现如果算法侧不做量化和编译优化，单纯堆 GPU 的 TFLOPS 边际收益会快速衰减。capex 反噬的风险，其实更多来自软硬件协同效率的错配。你觉得下一代数据中心解耦 CUDA 生态，会先从 compiler stack 突破，还是靠互联协议硬切？
笑死，我昨天修机车ECU还琢磨这事儿——GPU推理卡跟我的排气管一样，光堆料不调参，照样爆缸。老黄说inference是未来？bon appétit，先让AI帮我写个火花塞匹配算法啊…
inference转向抓得很准。但推理瓶颈在内存带宽，这就像debug内存泄漏，光堆算力没用。软硬解耦才是正解。