最近半年最大感受：AI从嘴替变同事了。

去年大家折腾提示词，让AI写诗编段子，玩完就关。今年Claude computer-use、OpenAI Operator、Devin这类agent能自己开浏览器、点按钮、把多步任务一口气跑完。我上周让它订出差机票加酒店，还比了三个平台价甩来比价表，比我自己弄还利索。嗯

推理模型是另一块。o1和DeepSeek-R1靠test-time compute做长链推理，研究生级统计题旧模型绕两圈就胡扯，这俩能一步步推对。

得泼冷水：agent在真实网页任务的自主完成率，公开benchmark普遍五到七成，点错按钮、卡死验证码的case我见了不止一回。从玩具到工具是真的，但说能独当一面数据还撑不住。2025最该盯的，不是谁聊得更像人，而是谁真把活干完。

你那次让它订机票酒店，比价表甩过来之后，你是自己又核对了一遍还是直接照着下了单？

我前阵子也试过让这类东西帮忙跑点杂活，有一回它自作主张选了个中转时间特别紧的航班，理由是便宜四十块。我要是真信了它的，路上准得栽跟头。所以现在我的用法是：它能帮我铺摊子、把信息摆整齐，最后那一下拍板我还是自己来。

你说的从玩具到工具这个变化我是认同的，只是这工具现在还像个刚上岗的毛头小子，活能干，但得有人在旁边瞄着。

上周我也让它订了趟行程，比价那块确实省心。不过你泼的这盆冷水我认同，agent卡在验证码上那次我也撞见过。现在我的用法是让它跑流程、我来做最后那一下确认，分工比全托管舒服多了。

前阵子我也让agent帮着办了件杂事，半路卡在验证码上，转了三圈没过去，最后还是我自己上手。你那比价表确实利索，可这类活儿最怕的不是慢，是它闷头走错了你还没察觉。

我年轻那会儿刚摸电脑，也觉得什么都能甩给机器。这些年看下来，工具从玩具变帮手是真事，但"人在环里"这条线松不得。五到七成能跑通，剩下那三成翻车的时候，恰恰最该你盯着。

所以你说的"谁把活干完"，能干完一半以上已经够改变习惯了，只是别真把它当同事信。

你那个五到七成的自主完成率，我想追问一句：具体是哪个 benchmark？这数字在不同评测里差得挺远。WebArena 和 WebVoyager 测的东西就不太一样，前者偏固定流程的后台系统操作，后者偏真实网站的多步任务，跑出来的通过率能差出二十个点。而且不少 paper 报的是“任务完成率”，但一个任务里 agent 可能点了十次只对了一半，这种“半完成”怎么算，各家口径也不统一。

所以我倒觉得，比起盯着那个百分比，更该看失败 case 集中在哪一类：是验证码、动态加载…，还是跨页面状态丢失。你上周订机票那次顺利，大概率因为流程相对标准；真遇到改签退票那种分支多的场景，卡死概率会上去不少。你试过让它处理带条件分支的任务没？

你那个订机票比价的例子我接一句哈。我自己前阵子也丢了个任务给agent跑，顺的时候确实香，不顺的时候它卡在一个滑块验证上原地转圈转了快十分钟，我后来自己三秒就点完了——这种"省的时间全赔回去"的情况才是日常吧。
嘿嘿
五到七成那个数我倒觉得蛮诚实，但真实任务的难度不是均匀摊开的。agent最稳的是步骤清楚、界面标准、不用临场判断的那种活；一旦要读懂潜台词，或者网页长相跟它训练时见过的差太远…，失败率会啪一下窜上去。所以"能不能独当一面"也许不是是非题，而是"在哪类任务分布上"更准。额

我反而觉得明年最该练的不是agent多能跑，是人怎么跟它交班。你定方向它跑腿，中间那个"啥时候该自己上手"的手感才是真功夫。你说"谁真把活干完"我蛮认同，但干完的前提八成是旁边有人兜着底呢。

我前阵子也试过让这类agent帮着跑个多步的活儿，结果它卡在一个要验证码的页面上半天，最后甩给我一句"建议您手动完成"，活像请了个半路撂挑子的帮工。

楼主说的那个五到七成的自主完成率，我觉得这数挺实在。去年我还当它是图个新鲜，今年身边真有人拿它当日常伙计使了，从玩具到工具这段路确实是迈过来了。但要说独当一面，数据还撑不住，这点你泼的冷水很及时。

我的一点体会是，这类东西最怕开头期望拉太高。你把它当个手脚麻利、但偶尔犯糊涂的伙计，反而处得顺。你那张比价表它既然没点错按钮，确实比自己折腾省心。

你那个比价表甩过来那一刻，我估计你还挺惊喜的。我前两个月也试过一回，让它帮整理一份报销单，流程跑得顺，结果最后一步把单位看串了，欧元当美元，差点多报一笔。你说它靠不靠谱？靠的，但那双手到底还是毛糙。

楼主说自主完成率五到七成，这个数我信。不过我倒觉得，问题不在它能不能独当一面，而在我们愿不愿意把"盯着它"也当成活的一部分。以前用工具，人是主、工具是奴；现在这agent像个刚招来的实习生，活能干，但你得在旁边搭把手，别由着它乱点。

我年轻的时候总以为新东西非惊艳即鸡肋，后来见得多了才明白，多数玩意儿都是先让你爽一下，再逼你长出新的操心法子。2025盯谁把活干完，这话在理，只是活干完之后的人，怕是比从前更累了些。

顺带说一句，你和oakism前阵子那几轮讨论我也瞧了，一个偏技术一个偏体感，互补得挺好。

你让agent订机票酒店那事我太想追问细节了：它最后是真把票下了，还是只甩了张比价表给你？我上周试着让同类工具帮我跑个跨平台的活儿，结果卡在短信验证那一步绕了快十分钟，最后还是我手动接的盘。所以凡是碰到要登录、要验证码的环节，我自己体验下来翻车率比公开benchmark说的五到七成还要再高些。
嘿嘿
我听说的版本跟你说的不太一样，圈子里有人聊过某些大厂内部自己测的真实网页任务完成率，比对外讲的还要再打个折，只是没人愿意往外放。倒不是跟你唱反调，就是觉地现在宣传口径和实际手感之间确实有一段距离。

对了，它比完三家价之后，有没有顺手把最便宜那家的退改签规则也扒出来？出差党最容易被坑的就是这块，光看票价低没用。

我也让它订过酒店…，比价确实利索，结果卡在验证码那步死活过不去，最后还是我自己上手收的尾

上周我也拿agent试了回订机票，比价那步确实利索，真到付款卡在短信验证，最后还是我手动收的码。

你那个五到七成的自主完成率，当平均值没问题，但分布太宽。WebArena这类多步任务成功率常掉到三成出头，单步或短流程能到八成以上。把"真实网页任务"一刀切成五到七成，容易让人低估长链路任务的衰减。我认同你盯"谁把活干完"的方向，不过与其看整体完成率，不如看任务步数增加时曲线的斜率，那才是分水岭。