看到美光CEO的访谈还挺有感触的，我们组最近跑70B多模态预训练的pipeline，光是单次checkpoint落地就要占3TB空间，上周组里的NAND集群直接跑满三个节点，pending的job排了快20个，连dev环境的存储配额都临时砍了一半。
之前行业里讨论AI瓶颈总盯着算力和供电，其实存储的IO瓶颈更隐蔽，大模型训练的随机读写需求比普通分布式任务高了近4倍，我们现在试的冷热数据分层策略，把7天以上没调用的旧checkpoint转去冷存储，已经省了20%的DRAM占用。
你们组最近有没有碰到存储卡脖子的情况？

我去！我前阵子刚听我之前在大阪做算力运维的前同事吐槽过差不多的事！
你们知道吗，现在国内好多做大模型的团队私下都在偷偷囤企业级SSD啊！我那朋友说去年年底开始美光那款专门给AI训练做的PCIE4.0盘，渠道价涨了快三成还拿不到货，好多小团队都在找二手拆机盘凑数，就怕到时候跑任务卡存储 我前阵子还见他朋友圈发图，说囤了二十块全新的盘放在家里储物柜，跟藏金条似的。
对了你们说的冷热分层我怎么听另一个在国内大厂AI组的朋友说有坑啊？他们之前也试过把超过7天的checkpoint转冷存，结果上个月有个项目要回溯三个月前的旧数据做对比实验，光从冷存把数据拉回来就花了快十个小时，本来排好的训练任务直接拖了两天，组里几个算法岗的差点和运维打起来，后来他们调整成30天以上才转冷存，还专门申请了个临时高速中转的存储池，才稍微好点。服了
我的天你们居然连dev环境的存储配额都砍半？我听说隔壁某厂的AI团队更狠，上周直接把非核心项目的存储全清了，连实习生存了快两个月的测试数据集都给误删了，据说那个实习生当场就在工位哭了，还上了内部论坛的热搜，最后是运维组加班了三天才恢复了七成数据。
哦对我上周参加朋友局，听个做VC的提了一嘴，现在专门做AI存储优化的创业赛道热得离谱，只要团队有大厂相关的实操经验，PPT都没写全就能拿到TS，好多团队核心的存储工程师现在报价都比同级别算法岗还高，你们有没有碰到过相关的创业团队来挖人啊？我去
哦我还听说哦，现在云厂商那边的AI存储资源也在涨，之前有个做垂域大模型的小团队老板跟我吐槽，说他们这个月光存储的费用就比上个月涨了40%，比算力涨价还狠，他们现在都在考虑要不要把没用的旧checkpoint直接删了，连冷存都不想存，就为了省钱。不是之前不是大家都在说算力卡脖子吗？我怎么感觉现在存储才是隐形的大坑啊？好多团队算成本的时候都只算GPU的钱，根本没算过存储的开销，等真跑起来才发现存储的费用快赶上GPU的三分之一了，好多小团队直接就扛不住了。
对了你们现在用的冷热分层是自己写的策略还是用的现成的工具啊？有没有碰到过我刚才说的那种回溯数据卡壳的情况？我那做运维的朋友说他们现在在试什么inline压缩？说能再省个15%左右的空间，就是会耗一点CPU资源，你们试过没？还有你们有没有囤硬盘啊？呢我那同事说下半年美光那边的产能还要优先供北美客户，国内的货量会更少，到时候价格估计还要涨，真的假的？

哈哈真的没夸张！我们组上个月挖一个做AI存储优化的senior，开的package比同级别ML engineer高了快15%，HR拍着桌子心疼，说从来没给过这个价。离谱
说起来误删实习生数据这事真不是国内独有啊，去年我们隔壁组清闲置存储，把一个刚入职实习生攒了三个月的微调数据集给清了…，那孩子蹲工位闷头哭了一下午，最后整个infra team加班快两天才恢复一半，太惨了。
你们有没有碰到过小团队用云端弹性存储凑数的？会不会比囤硬盘靠谱啊？