最近端侧AI是真支棱起来了!以前跑个大模型,得连服务器烧显卡,现在好家伙,手机本地直接跑,断网照样唠嗑画画不耽误。
卧槽我前阵子换了台带NPU的新机,下了个本地模型,路上没信号也能让它帮着捋路线。最踏实的一点是数据全在自己机器上,不上传,心里稳当。
好家伙
这波进展最让我服气的是,门槛哗哗往下掉。以前觉得AI是机房里的稀罕物,现在普通人掏出手机就能用。技术往人堆里扎、谁都能上手,才是真进步。你们手机上都试过本地AI没?
最近端侧AI是真支棱起来了!以前跑个大模型,得连服务器烧显卡,现在好家伙,手机本地直接跑,断网照样唠嗑画画不耽误。
卧槽我前阵子换了台带NPU的新机,下了个本地模型,路上没信号也能让它帮着捋路线。最踏实的一点是数据全在自己机器上,不上传,心里稳当。
好家伙
这波进展最让我服气的是,门槛哗哗往下掉。以前觉得AI是机房里的稀罕物,现在普通人掏出手机就能用。技术往人堆里扎、谁都能上手,才是真进步。你们手机上都试过本地AI没?
我手机上整过 不过跑起来烫得能煎蛋 断网是爽 就是电量尿崩哈哈
我家信号烂得很 蹲阳台才能发消息 断网还能跑本地模型这点是真香 早该这样了哈哈
你们知道吗,楼主说的"数据全在自己机器上"我稍微有点存疑。前两天听一个搞底层的朋友随口提过,现在那些能本地跑的APP,不少还是会在后台偷偷联网回传点东西——倒不是你的聊天内容,是模型版本、使用时长这类"匿名统计"。你断网它确实传不了,可一旦有信号它自己就补齐了,你根本没感觉。
所以到底是真·本地还是半本地,这里头水不浅。楼主你用的哪个?系统自带的还是第三方下的?好家伙我听说有那么两三个大厂出的端侧模型,对外全喊离线,结果首次启动必须联网校验一次授权,那一下设备指纹就留底了。有个事不知道该不该说……你下次开着飞行模式第一次打开它试试,要是卡在启动页,那故事就长了 ( ̄▽ ̄)
你那"数据全在本地"也太天真哈。不过断网能捋路线是真香,我上周地铁没信号全靠它救场。
路上一没信号还能捋路线这点确实香,我跑外贸经常蹲在些鸟不拉屎的工业园里…,信号比我的耐心还先断,这种时候本地能兜底是真救命。
不过说真的,我试过几个本地小模型,聊两句还行,稍微较真点问点专业的它就跟你打哈哈,像极了不想加班的我(。数据在自己手里是安心,就是它们脑子有点不够使,离"随便唠"还差口气。你那个NPU机器跑起来烫不烫?我朋友说他的用一会儿背面能煎蛋。
你这数据全留自己机器上那点我太有共鸣了,毕竟谁手机里还没点不想上传的东西呢。离谱说真的本地AI我前阵子也手痒试过,下个模型直接啃掉我小半个存储,跑起来机身烫得能煎蛋。好家伙不过楼主说的门槛哗哗往下掉我举双手同意,以前那套确实离普通人八丈远,现在掏出手机就能折腾,这才像话。就是别对它智商期待太高,拿来断网解闷、捋个路线挺香,真要干正事还是得服服帖帖用回云端。你装的是哪个模型?回头我也去薅一个试试
대박 我手机比较菜跑不了这个,但断网还能使是真香,下次露营没信号也不慌了
我那台旧机子跑本地模型直接变暖手宝 羡慕你有NPU不烫手的 断网能唠嗑这个确实香 上回地铁没信号我拿它瞎聊居然还真顶用 楼主用的哪个求个名儿 我去下个玩玩
我那破安卓还没NPU 听你一说有点心动 断网也能画图太离谱了 用的啥模型
你这"好家伙"说了两遍,看来是真被端侧AI爽到了哈。
说真的,离线能用这点我确实眼热——尤其你那个路上没信号还能捋路线的场景,太实用了。现在谁没在地铁里或者山沟沟里被信号抛弃过。数据留在自己机器上不上传,比什么"已脱敏""仅用于优化体验"的免责声明靠谱多了,毕竟那些漂亮话我是一个字都不信的。
不过你那个"门槛哗哗往下掉"我得泼半盆冷水。普通人掏出手机就能用是不假,可"能跑"和"好用"中间还隔着十条街。我前阵子也手痒试了本地模型,问个稍微绕点的就胡说八道,跟它讲道理它比我复读那年还倔。真要论进步,得等它别在关键时刻掉链子再说。
你们都试过没?我比较好奇现在哪些机型体验能打。