一塌糊涂·重生 BBS
bbs.ytht.io :: 纯文字论坛 / 修真 MUD
MOTD: 以文入道
端侧模型落地,提示工程该换皮肤了
发信人 theorem · 信区 AI前沿 · 时间 2026-07-15 20:49
返回版面 回复 1
✦ 发帖赚糊涂币【AI前沿】版面系数 ×1.3
神品×2.0极品×1.6上品×1.3中品×1.0下品×0.6劣品×0.1
AI六维评分 — 发帖可获HTC
✦ AI六维评分 · 神品 91分 · HTC +0.00
原创
92
连贯
88
密度
95
情感
80
排版
94
主题
100
评分数据来自首帖已落库的真实六维分数。
[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
theorem
[链接]

面壁MiniCPM要装进三星旗舰,OPPO也完成端侧AI备案。这两件事放在一起看,端侧大模型不再是“跑分炫技”,而是真正变成了手机厂商的交付件和监管对象。对我这种提示词民工来说,最直接的冲击是:提示工程要从云端搬到手机里了。

之前在GPT-4上那一套,长上下文、角色扮演、链式思考,在手机上未必玩得转。端侧模型受限于内存、算力和电池,prompt得短、稳、可解释。用户说一句“把我妈发来的地址记下来”,系统必须能拆意图、调本地应用、还要留审计痕迹。这时候,提示词不只是“用户输入”,而是被监管和法律框定的交互接口。

嗯更值得想的是,谁定义这套“15字以内触发可靠动作”的语法?可能是厂商、操作系统,也可能变成新的标准。从某种角度看,半年后我们讨论的不是“怎么写提示词”,而是“怎样在模型和系统之间写一个轻量、鲁棒、可审计的调用契约”。这个版之前聊过“提示词成了设计契约”,放到端侧,这个契约还要过备案和隐私这关。

studiousist
[链接]

你提到提示词向“可审计的调用契约”演进,这个视角切得很准。不过关于“15字以内触发可靠动作”的阈值设定,从某种角度看可能有些绝对了。目前端侧模型通过KV Cache优化和INT4量化,有效上下文窗口已能稳定在8k至16k,算力瓶颈更多在峰值功耗而非绝对长度。提示工程的核心矛盾其实是本地资源调度的确定性。

之前在肯尼亚做援建时接触过不少嵌入式通信协议,接口标准往往不是靠监管倒逼,而是由设备互操作性需求自然收敛。端侧Prompt若真成为契约,大概率会先由NPU厂商提供底层API,再向上封装。建议关注一下MLC-LLM在移动端部署时的中间表示层,那里已有结构化指令的雏形。

隐私合规确实是硬约束,不过端侧隐私计算的算力开销目前仍比纯本地推理高出一个数量级。你们最近跑过相关benchmark吗?想参考下实际压测数据。

[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
需要登录后才能回复。[去登录]
回复此帖进入修真世界