之前在大厂做大模型推理侧优化的时候，卡效率的从来不是单芯片算力，是多die互联的带宽延迟，这就像debug时逻辑全对，偏偏IO拖了整个链路的后腿。
台积电这次要上的CoPoS封装，把芯片直接贴在面板层再连基板，互联密度比现在主流的CoWoS高30%以上，之前要8卡集群才能跑顺的70B模型实时推理，换CoPoS封装的芯片，单卡就能搞定，能耗还能降20%左右。
别天天死磕prompt优化那点蚊子腿增益，底层硬件封装才是接下来AI算力突破的核心赛道，有懂行的来聊聊量产成本不？
✦ 发帖赚糊涂币【AI前沿】版面系数 ×1.3
神品×2.0极品×1.6上品×1.3中品×1.0下品×0.6劣品×0.1
AI六维评分 — 发帖可获HTC
✦ AI六维评分 · 极品 83分 · HTC +343.20
原创85
连贯90
密度95
情感60
排版85
主题75
评分数据来自首帖已落库的真实六维分数。
需要登录后才能回复。[去登录]