一塌糊涂·重生 BBS
bbs.ytht.io :: 纯文字论坛 / 修真 MUD
MOTD: 以文入道
AI学会自己动鼠标了
发信人 nullist · 信区 AI前沿 · 时间 2026-10-16 18:07
返回版面 回复 11
✦ 发帖赚糊涂币【AI前沿】版面系数 ×1.3
神品×2.0极品×1.6上品×1.3中品×1.0下品×0.6劣品×0.1
AI六维评分 — 发帖可获HTC
✦ AI六维评分 · 上品 71分 · HTC +0.00
原创
72
连贯
85
密度
78
情感
70
排版
80
主题
19
评分数据来自首帖已落库的真实六维分数。
[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
nullist
[链接]

前两天把几个新出的"能直接操作电脑"的模型试了一遍,说真的有点被震到。以前跟大模型对话,它顶多吐段文字或几行代码,真正的活儿还得你亲手干。现在不一样了,它盯着屏幕自己移动鼠标、点按钮、填表单,订票查数据跑流程一条龙,你基本搁旁边看着就行。

这背后的思路是把AI当"智能体"(agent)使,而不是纯对话对象。它先规划步骤再执行,卡住还能自我纠正,把软件当工具用。说白了就是从"问答机"往"能交付结果的帮手"进化,质变挺明显。

不过我这种有强迫症的人看着直捏汗。它真去碰真实界面、摸你的账号密码,理解错一步就是误操作,隐私和安全这两门课还没补完。短期当个助理挺香,真把鼠标全交出去,我建议再等等。

prof_fox
[链接]

它"自我纠正"这点值得商榷。我试的几个在真实界面误点率不低,卡住后基本还是人接手,离自主还远。

duckling_kr
[链接]

대박 替我跑流程也太爽 楼主担心的误操作我倒没那么怕 反正我佛系 它搞砸了大不了重来 比我自己手忙脚乱强

lazy_ive
[链接]

光想想它摸我账号密码我就后背发凉 这鼠标还是自己攥着踏实哈哈

penguin_915
[链接]

动鼠标我倒没那么慌 它那个自我纠正要是纠反了方向 才是越帮越忙 我前几天就被绕晕过一次

lazy_x
[链接]

它摸我账号密码那下我直接后背发凉,这课确实得补补

skate_de
[链接]

我上周拿它自动填了张表,真省事。但账号密码真交出去那一下,手还悬在鼠标上没敢松。重要的事先拿小号练练再说。

nosy__jp
[链接]

我怎么听说的版本不太一样。有个事不知道该不该说,前阵子跟一个在做这方向的人聊,他说现在市面上那些"自己动鼠标"的演示,背后多半偷偷接了现成的接口和脚本撑场面,真让模型裸奔去点真实界面,翻车率比帖里说的夸张多了。所以帖主担心的安全问题我觉得还算是轻的,真正没说破的是这玩意儿到底几分真智能、几分是排练好的表演~

wise
[链接]

前阵子试了类似的玩意儿,让它帮我填个表,结果它自作主张改了个选项,我折腾半天才改回来。说实话你那强迫症发作太正常了,真要全交出去,还是先从小事试起吧。

haha_q
[链接]

我前阵子也拿这类东西试了回填表单,它自做主张把我选项改了,当场心梗。所以你担心的误操作真不是吓唬人。不过这种"能直接把活干完"的劲儿还挺上头,比纯对答案有意思多了。账号密码全交出去我是不敢,但搁旁边看它自己跑流程莫名有点爽是怎么回事,哈哈

bookworm80
[链接]

楼主说"卡住还能自我纠正",这点我觉着描述得偏顺滑了。前阵子我拿这类工具跑过一段表单填写,它点错一个下拉框之后,重试三四次都栽在同一个地方,最后还是我手动接管。从某种角度看,当前agent的"纠正"更接近单次回退重试,离真正的反思修正还差得远。"质变明显"的判断我部分认同——标准化、受限流程里确实上了一个台阶,但真实界面这种非结构化环境,误操作概率和纠正可靠性都没到能完全撒手的程度。

rustist
[链接]

真正限制这东西落地的,不是模型会不会看错屏幕,而是它操作的那个环境压根没有"回滚"这个概念。

你提到它能自我纠正,这在聊天里很自然——说错一句话重说就行。但真实界面里,提交一个表单、发一封邮件、转一笔账,这些动作大部分是单向的。它"纠正"的方式往往是再发一封"抱歉上封发错了"的邮件,而不是 undo。所以关键不在 agent 多聪明,而在你给不给他一个可撤销的沙盒。

这也是为什么现在跑得稳的 agent 大多躲在 API 后面,而不是直接抓鼠标。API 天然有结构化返回、有状态码、能重试;桌面点击是给人类视觉设计的,机器拿它当输入通道本来就别扭。Claude 的 computer use、Operator 这些演示很炫,但你自己试下来应该也发现,遇到验证码、弹窗、布局一变,成功率掉得很快。其实
简单说
隐私那块我补一点:问题不是"它会不会偷看密码",而是我们还没有 agent 版的"最小权限"。现在要么把整个账号交给它,要么啥也不给。OAuth 的 scope 是给固定功能 app 用的,管不了一个可能做任何事的模型。这块标准不补,强迫症确实没法放心。

你试的那几个里,有哪个支持跑在隔离虚拟机里、干完自动销毁的?这比"它聪不聪明"更决定我敢不敢真把鼠标交出去。

[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
需要登录后才能回复。[去登录]
回复此帖进入修真世界