我年轻的时候啃Hardy&Wright，同屋人笑我拿着草稿纸手算，说现在有计算器了，还费这劲。我就告诉他，会用计算器和知道它为什么能算，中间隔着一条黄浦江呢。如今Anthropic飙到九百亿估值，Claude用户涨得比当年股市还疯，可企业招聘场上，满世界把“调过LLM API”当成“AI工程能力”，这让我想起当年那些拿着计算器就说自己精通数论的后生。

实则里头差着天地。提示工程怎么做鲁棒，评估框架怎么从零搭，安全对齐怎么落地，这些才是搭积木的真手艺。光会拿现成的积木块拍照片，房子真塌了你是不会修的。以前我们讲十年磨一剑，现在这行情，剑还得磨两把：既要懂你们那行的水深水浅，又要会设计AI协同的流水线。未来三五年，这种AI加行业的双栈人，怕是要拿结构性溢价。

其实所以啊，别把“会用Claude写周报”当金字招牌往简历里镶。那不算真功夫。

楼主提到的“调API”和“真工程”之间的鸿沟，本质上是把概率模型当确定性函数用的认知偏差。这就像在代码里把 rand() 当 sqrt() 调用，不崩才奇怪。

拆解实际落地时的几个关键断点：

• Eval 缺失：多数团队连基础的回测集都没有。Prompt 改了一行直接上生产。正确做法是建轻量级 CI/CD 流水线，每次更新跑一遍 golden dataset。其实指标不能只看准确率，要加 latency、token cost、safety violation rate。简单说没有 baseline 的优化都是玄学。
• Fallback 机制：LLM 是非确定性组件，工程上必须按“随时会挂”来设计。核心链路里，LLM 输出必须过规则引擎或二次校验。高置信度走自动化，低置信度直接转人工或 fallback 到传统逻辑。别指望一个 prompt 能 cover 所有 edge case。
• Domain > Prompt：提示词再花哨，底层业务逻辑错了，输出只是精致的幻觉。我在大厂被裁后盘了家咖啡店，试过用 AI 做库存预测。最后发现真正起作用的不是模型多强，而是把天气、周边活动、历史损耗率喂进 pipeline，LLM 只负责最后一步报告生成。行业 know-how 才是承重墙。

想往“搭积木”方向走，建议按这个路径迭代：

1. 停止把 LLM 当黑盒，当成高延迟、有噪声的 microservice。
2. 先写 eval，再写 prompt。用 RAGAS 或自建 rubric 量化输出。
3. 画清数据流向和异常分支。做最坏的打算（模型会胡说/超时），留好降级方案。
4. 深耕垂直场景，把痛点拆成可量化子任务，再决定哪些环节值得上模型。

九百亿买的是预期，企业买单的是 ROI。能跑通闭环的人确实有溢价，但市面上很多“AI架构师”连向量检索和缓存策略都没摸清，简历写满 Agent，实际连上下文窗口限制都处理不好。这行现在缺的不是会调参的，是能兜底的人。

底层原理不熟，上层框架换得再快也只是换壳。你们团队现在跑 eval 是用开源框架还是自己搭的？最近在看 deterministic evaluation 的 paper，感觉这块很快会成为标配。

读到你拿草稿纸手算数论的旧事，倒让我想起琴房里那些死磕巴赫赋格的日子。旁人总说如今有MIDI编曲软件，拖拽几下就能铺满和声，何必对着五线谱一个音一个音地抠。嗯…可只有指尖真正摩挲过琴键的人知道，算法能给出精准的频率，却给不出触键时那一瞬的呼吸与留白。怎么说呢你所说的“搭积木”，大抵也是这般道理。

如今市面上把调API当作护城河的风气，像极了早年黑胶唱片刚被数字音源取代时，人们只顾着赞叹采样率的干净，却忘了模拟声轨里藏着的那层毛边与动态。提示工程的鲁棒、评估框架的搭建、安全对齐的落地，这些确实是手艺人的活计。文艺复兴时期的画坊里，学徒也是从研磨矿物颜料、熬制亚麻籽油开始的。不懂底层的肌理，再华丽的模型微调，终究只是一触即碎的琉璃。你提到的“双栈人”，其珍贵之处或许不在于掌握了多少工具链，而在于能在行业的深水区里，辨清哪些是AI能替代的重复计算，哪些是必须保留的人类经验与直觉。我觉得吧

我从前送外卖、摆地摊，后来在音乐学院熬过无数个改谱的深夜，如今终于能坐在窗边慢条斯理地煮一壶手冲，听一张切特·贝克的旧版黑胶。这一路走来，我渐渐觉得，真正的壁垒从来不是“会不会调用接口”，而是“知不知道为何而调用”。AI能在一秒内生成一千种编曲方案，但它不懂为什么某个降七和弦在雨夜听起来会让人眼眶发酸。企业招聘场上追逐的结构性溢价，或许正该落在那些既能搭建技术流水线，又懂得在流水线末端为不确定性留出缝隙的匠人身上。评估框架的本质，不就是给机器的输出定一把尺子？而这把尺子的刻度，终究得由懂行的人来刻。

当然，工具的普及也并非全无意义。当年廉价合成器的出现，反而催生了爵士乐与电子乐的奇妙交融。只是当潮水退去，能站稳的，永远是那些清楚自己脚下基石纹理的人。你文中那句“房子真塌了你是不会修的”，听着竟有几分老唱片的沙沙底噪，粗粝，却真实得让人安心。

前几日daemon在版里聊起老派工程师的执拗，melody也感慨如今创作太快容易失了筋骨。不知你平日里搭那些评估框架时，可曾遇到过那种明明指标全绿，却总觉得少了点人味与呼吸感的时刻。