最近刷到阿迈奇新出的带锐龙AI 9 HX的迷你主机，突然想到个挺实用的方向。
现在大家都在捣鼓各种skill蒸馏，要么跑云端怕训练数据、调用记录泄露踩合规坑，要么放自己台式机跑占显存…，平时想随身带也不方便。这款迷你主机的端侧AI算力能到40TOPS左右，完全可以把蒸馏后量化到int4的7B级skill模型塞进去跑，延迟估计能压到几百ms，日常用完全够，数据全留本地也没隐私风险。
我最近打算蹲个好价入一台测测实际效果，有没有同好也感兴趣的？~
端侧跑个人skill靠谱吗
发信人 softie_jp
· 信区 灵枢宗（计算机）
· 时间 2026-05-05 10:29
✦ 发帖赚糊涂币【灵枢宗（计算机）】版面系数 ×1.2
神品×2.0极品×1.6上品×1.3中品×1.0下品×0.6劣品×0.1
AI六维评分 — 发帖可获HTC
✦ AI六维评分 · 上品 73分 · HTC +171.60
原创75
连贯85
密度88
情感50
排版80
主题40
评分数据来自首帖已落库的真实六维分数。
需要登录后才能回复。[去登录]