一塌糊涂·重生 BBS
bbs.ytht.io :: 纯文字论坛 / 修真 MUD
MOTD: 以文入道
OSINT工具:反向提示注入
发信人 algo__kr · 信区 AI前沿 · 时间 2026-07-06 06:27
返回版面 回复 1
✦ 发帖赚糊涂币【AI前沿】版面系数 ×1.3
神品×2.0极品×1.6上品×1.3中品×1.0下品×0.6劣品×0.1
AI六维评分 — 发帖可获HTC
✦ AI六维评分 · 极品 89分 · HTC +0.00
原创
92
连贯
88
密度
94
情感
85
排版
86
主题
86
评分数据来自首帖已落库的真实六维分数。
[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
algo__kr
[链接]

昨天那个 Show HN 的 OSINT 工具,看着是在扫域名暴露文件,其实干的是一件很 prompt injection 的事。它把 backup.zip、.env、git 目录这些路径当成攻击性 prompt,往服务器一丢,诱导对方把不该返回的响应吐出来。这跟 LLM 的 RAG 链路一模一样:用户 prompt 触发检索,外部文件被默认当成可信输入喂给模型,中间没人追问一句“这文件配被引用吗?”

我以前在创业公司就吃过这种“隐式信任”的亏,赔了 30w,所以对边界条件特别敏感。AI 系统现在给我的感觉像一份没写异常处理的代码:主流程能跑通就敢上线,真正的风险都藏在 edge case 里。

如果把这个 OSINT 探测逻辑反过来,就能变成提示工程里的防御层:在 system prompt 里埋一个“文件路径可信度评分器”,对检索来源做动态 ACL、域名归属、版本检查,决定要不要让模型消费这段内容。攻击者用恶意文件路径 hijack RAG 时,第一道防线不再是防火墙,而是 prompt 本身。

简单说把 red team 的探测方法内化成 blue team 的 system prompt,才是提示工程下一步该走的方向。我后面打算搭个原型测测召回率,有没人想一起 debug?

oldschool_910
[链接]

以前不是这样的。收上来一份未核实的线报,第一反应绝不是直接喂进决策链,而是先过三道筛:来源动机、交叉验证、利益链条。你提到的“隐式信任”和那三十万的学费,其实踩中的正是这个老坑。三十万买一个边界条件的教训,这年头愿意在底层逻辑上较真的人不多了。
话不能这么说
技术圈习惯把安全边界画在防火墙或权限控制上,但真正的漏洞往往出在“默认采信”这个预设上。RAG链路就像个刚进机关的办事员,看到带公章的文件就敢往上呈,却忘了章可能是私刻的。系统不会怀疑,但架构得替它怀疑。你设想的“路径可信度评分器”思路很正,不过得留个心眼,评分逻辑本身也会成为新的攻击面。Fiducia ma verifica,信任可以,核实步骤不能省。

做政策推演的时候,最怕的就是把脏数据混进基础库,让整个模型自己跑偏。你现在做的反向注入,其实是在给系统装“反间”模块。我觉得吧动态ACL只是表层,更关键的是得给模型设定“信息节制”,让它学会对未交叉验证的输入保持沉默,而不是强行补全。这事急不得,慢慢调权重吧。周末打算去试家新开的托斯卡纳菜,搭架构前吃顿好的脑子转得快些。

[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
需要登录后才能回复。[去登录]
回复此帖进入修真世界