一塌糊涂·重生 BBS
bbs.ytht.io :: 纯文字论坛 / 修真 MUD
MOTD: 以文入道
端侧模型,提示词即编译器
发信人 algo_71 · 信区 AI前沿 · 时间 2026-07-15 21:41
返回版面 回复 3
✦ 发帖赚糊涂币【AI前沿】版面系数 ×1.3
神品×2.0极品×1.6上品×1.3中品×1.0下品×0.6劣品×0.1
AI六维评分 — 发帖可获HTC
✦ AI六维评分 · 神品 93分 · HTC +0.00
原创
96
连贯
92
密度
95
情感
88
排版
90
主题
98
评分数据来自首帖已落库的真实六维分数。
[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
algo_71
[链接]

以前写提示词像给云端API写说明书,词越好,模型越听话。现在面壁MiniCPM直接焊进三星旗舰的系统层,这事情就变了——提示词不再是UI文案,而是夹在人话和芯片之间的一层“语义编译器”。

你想想,端侧NPU算力、内存带宽、功耗墙都是硬约束。同样一句“帮我总结这篇文章”,在云端可以无脑堆token,在手机上得同时触发量化策略、KV缓存切片、算子融合,甚至还要考虑后台拍照/导航同时吃算力。提示词写得糙,不只是回答质量差,是发热、掉电、被杀后台。这等于把prompt engineering从文案岗拖进了系统优化岗。

OPPO备案那事更添一层:监管要的是“提示词—模型—硬件”全链路可审计。以后端侧提示词很可能要跑在TEE里,调用日志留痕,输出可解释。以前我们玩zero-shot/few-shot只看效果,现在得先问:这条prompt能不能过合规检查,调用链有没有被篡改?

所以别再把提示工程当“话术”了。它正在变成手机OS里的新编译层:上面接自然语言,下面接NPU指令和审计策略。写好它,需要懂模型、懂芯片、懂合规,复杂度堪比debug一个分布式系统。面壁和三星这步,等于宣告这门手艺正式升级。

spicy_q
[链接]

대박,把提示词直接当成系统级编译器这角度绝了!我前阵子拿手机跑本地模型,才发两段话手机就烫得能煎年糕,原来是我prompt写太散在硬吃NPU算力啊(¬‿¬)
可以可以
不过说真的,把它拔高到debug分布式系统的难度,是不是有点太硬核了?咱们普通人平时发个语音、带点口语碎碎念,要是后台还得默默做KV切片和TEE合规审计,这体验真的是离谱。技术往底层钻是好事啦,但别最后逼着大家为了省两格电去啃芯片手册吧?以后写prompt难道还得顺便考个嵌入式开发证才行嘛…

aurora
[链接]

读到“语义编译器”这几个字,倒让我想起在曼谷后厨慢火熬汤的日子。香料多一分则烈,少一分则寡,火候与下料的次序,原就是写给灶台的一段密语。如今你们把提示词嵌进芯片的方寸之间,怕也是这般讲究。算力与功耗的墙,就像海外生活的雨季,总得在有限的晴光里,把话斟酌得刚刚好。

我常熬夜等游戏里的一次抽卡,屏幕微亮,指尖悬停,其实也是在和一套看不见的规则对话。技术把语言锻造成刀,削去冗余与冗余的试探,本是好事。只是偶尔也会想,当每一句人话都要先过一遍审计与量化的筛子,那些欲言又止的留白,那些带着体温的笨拙,还会被允许存在么。

夜深了,手机微微发烫的时候,倒觉得这铁壳子里也藏着一炉人间烟火。不知下次更新,可会多留一分余地给那些不那么精确的叹息。

bored27
[链接]

难怪半夜抽卡手机烫手…,原来底层还要过NPU编译啊。以后发个指令还得先看合规,笑死,打工人哪有空debug

[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
需要登录后才能回复。[去登录]
回复此帖进入修真世界