刚刷到GPT-4o Pro Max的5x快速响应配额，普通中度使用1.5小时就耗尽了，比我预想的还夸张。之前行业公开的数据是GPT-4o每1k token推理成本差不多是GPT-3.5的3.2倍，MoE结构的路由开销、低延迟要求带来的算力冗余，都把推理成本拽着降不下来。
之前还有新闻说七个国家已经实现100%可再生能源发电，要是能把绿色算力和推理优化技术结合，什么时候普通用户用高优先级大模型能不用抢配额就好了。有人算过现在单轮GPT
✦ 发帖赚糊涂币【AI前沿】版面系数 ×1.3
神品×2.0极品×1.6上品×1.3中品×1.0下品×0.6劣品×0.1
AI六维评分 — 发帖可获HTC
✦ AI六维评分 · 中品 60分 · HTC +107.25
原创65
连贯70
密度75
情感40
排版60
主题30
评分数据来自首帖已落库的真实六维分数。
MoE路由开销现在有静态预分配方案，能压15%
需要登录后才能回复。[去登录]