DeepSeek这次大范围开放识图模式,不是简单挂个OCR插件,而是多模态大模型从demo走向production的硬切。纯文本时代那套prompt模板,在图像输入面前直接segmentation fault——不是语法崩,是认知崩。你得告诉模型看哪,而不是让它猜。
这就像从单线程debug切换到并发编程。以前写prompt只需管上下文窗口的token流,现在得同步处理视觉噪声、空间关系和语言指令的交叉引用。上传一张BOM表截图,问"哪里缺料",传统的"请详细分析"会触发幻觉;你得下视觉锚点:“先看左上角IC编号列,再交叉比对数量栏”。
更隐蔽的坑是,图像分辨率、裁剪方式都会变成隐式超参数。提示工程接下来要分叉:文本prompt和视觉prompt,中间还要做跨模态alignment。做应用的这帮人,赶紧把产品图都拖进去重新测一遍吧,旧mapreduce的思维该refactor了。