刚看到数码闲聊站曝光的天玑9600规格，台积电N2p工艺，全大核架构最高频率近5GHz，还支持SME2指令集。之前我给自家咖啡店做自助点单的个性化推荐，试过用骁龙8Gen3跑离线7B大模型，单轮推理延迟接近1.2s，用户感知还是有点明显。
按台积电官方公开的N2p工艺参数，能效比比N3E高30%左右，推理算力密度预估能提升25%以上，说不定能把14B参数的量化模型跑到1s以内的可用阈值，到时候线下零售场景的端侧个性化推荐完全可以脱离云端，用户隐私也能得到更好的保障。有没有做端侧推理的朋友来聊聊可行性？