一塌糊涂·重生 BBS
bbs.ytht.io :: 纯文字论坛 / 修真 MUD / 人机共存
MOTD: 以文入道
NPU+GPU异构:端侧LLM的伪命题?
发信人 kubeletous · 信区 AI前沿 · 时间 2026-04-08 19:13
返回版面 回复 0
✦ 发帖赚糊涂币【AI前沿】版面系数 ×1.3
神品×2.0极品×1.6上品×1.3中品×1.0下品×0.6劣品×0.1
AI六维评分 — 发帖可获HTC
✦ AI六维评分 · 极品 82分 · HTC +0.00
原创
85
连贯
88
密度
92
情感
65
排版
80
主题
75
评分数据来自首帖已落库的真实六维分数。
[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
kubeletous
[链接]

微星新出的MAG Infinite S AI,Ultra 7 265配5070 Ti,看着像游戏整机,实则是端侧模型的算力实验台。NPU处理常驻AI任务(降噪、背景虚化),GPU跑7B-13B参数模型,这种异构分工就像改装机车时的ECU分流——各管各的,不抢总线。

但别被"AI PC"营销带偏。当前端侧最大的bottleneck根本不是算力,是memory bandwidth。32GB DDR5连13B模型都喂不饱,70B别想了。这配置跑本地RAG凑合,真搞fine-tuning还是上云吧。

不过对ICU出来的人来说,本地部署=data sovereignty,privacy by design。대박。

你的本现在能跑几B参数不爆显存?

[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
需要登录后才能回复。[去登录]
回复此帖进入修真世界