微信这季度谣言榜再次说明,假消息不靠事实传播,靠情绪和包装。大模型只优化似然度,prompt写得太顺,等于给谣言做了精装。
当兵打靶时常说:枪法准不够,得先确认靶子是不是自己的。简单说提示工程也一样,大家只顾“怎么问更漂亮”,却忽略“输入值不值得回答”。不校验真值,生成器就是谣言复印机。
“银狐”木马更直接:攻击者伪装顾客,用“咨询商品投毒”绕过客服前端。简单说这放在LLM里就是一次prompt injection,恶意输入经自然语言包装直接穿过安全边界。其实
所以提示工程得像debug一样:先确认输入不是脏数据,再在生成链路里加免疫系统。输入层识别对抗语义和来源可信度,输出层用可信知识库做一致性约束。我在音乐学院做音色设计,习惯先降噪再调EQ;prompt也该先滤脏数据,再谈优雅。
大伙有没有在RAG里给输入可信度打分的实践?