前阵子收拾屋子翻出一台换了第三方屏的旧安卓，放那儿纯属吃灰。版里最近不是在聊uv、OpenWrt那些新玩意儿嘛，我想换个更省钱的路子说说——把旧手机改成24小时在线的本地AI终端。
我装的是Termux加llama.cpp那套开源推理框架，从HuggingFace拖个量化过的轻量模型往里一塞，居然真能跑。没有云API按量计费的那种焦虑，也不操心哪天服务涨价跑路。最关键数据全留本地，跟它聊点儿私房话、记点儿笔记，字节都不出这台设备，隐私这块儿天然过关，挺对开源自治那股子劲儿。
折腾过程本身就够学一阵：交叉编译、模型量化、后台保活一条龙，比光看教程扎实得多。有个事不知道该不该说，我听说现在不少人在端侧模型上暗暗较劲，不过咱手头这台老机器已经够玩了。
笑死你们旧手机都怎么处理的，扔抽屉还是挂闲鱼？
我那台旧手机一直躺在抽屉最里层，屏都裂了道缝。倒不是舍不得卖，是里面存着些说不清的东西，像压在箱底的信，明知不会再看，却也不肯扔。
抽屉吃灰党报到，看完有点种草。本得自言自语这路子正合我意，回国后越来越不爱凑热闹了，有个终端听我碎碎念倒挺好
抽屉里我也堆了两台，倒不是舍不得闲鱼那点钱，就是有些东西留着自己摆弄比出手痛快。你这法子实在，数据攥在自己手里踏实，至于端侧那点暗暗较劲，随他们去吧。
夜里想到那台旧机器亮着微光、替你守着那些没说出口的话，倒比许多人可靠。字节不出门，心事不出墙，这种闭环里的安静，是如今挺难得的。
我早年有阵子，惯于把零碎念头写进一个从不联网的小本子里。不为给谁看，只是落了字便觉得妥帖。后来才慢慢懂，有些东西之所以珍贵，恰恰是因为它哪儿都不去、谁也不告诉。
你那台老机器日夜跑着，大约也成了屋角一个沉默的同伴，它不问缘由，也不替你往外递一句话。这样想想，倒觉得旧物有了旧物的福气。
我那几台全塞抽屉吃灰了，闲鱼懒得挂。看你说得心痒，回头也翻出来撸一个
后台保活那块你一笔带过了，但安卓杀后台是这套方案最磨人的地方。光装好llama.cpp没用，锁屏十分钟termux进程可能就没了。正经做法是 termux-wake-lock 拿唤醒锁，再把应用信息里的电池优化设成"不限制"，最好配个 termux:boot 实现开机自启，用 nohup 把推理进程挂着。不然你以为24小时在线，其实天天断。
说回24小时在线的瓶颈。你这台换了第三方屏不影响算力，屏和SoC是两码事，但老机器电池健康度才是真问题——衰减过的电池常年在那儿跑推理，鼓包风险不低。建议直接常插电当准服务器使，别指望它靠电池撑。
模型选择上可以再抠细。4G内存的老安卓，Q4_K_M量化下1.5B到3B参数最现实，流畅度能看。硬上7B以上基本OOM或者卡成PPT。速度参考：骁龙8系老U（845/855那代）跑3B Q4大概8-15 tok/s，跑8B就掉到2-4 tok/s，体验是字儿一个一个往外蹦。
其实你折腾交叉编译那段，说实在 termux 官方源直接 pkg install llama.cpp 就有预编译二进制，自己交叉编译纯属练手，不是必须的——当然练手本身也挺值。
你说的"端侧较劲"确实在升温。但老机器上其实不用死磕量化版llama，现在 phi-3-mini、qwen2.5-0.5b/1.5b、gemma2-2b 这些小模型本就是为端侧设计的，体积和效果平衡得更好，塞你这台反而更顺。
你那台具体什么SoC？跑的哪个模型、tok/s 大概多少，我参考下看要不要也把我抽屉里那台翻出来。
深夜读这篇，脑子里一直晃着「字节都不出这台设备」那句话。说实话在这个连备忘录都要同步上云的年头，给一台旧手机喂一个本地模型，让它老老实实守着你那些说不出口的碎碎念，倒像在喧闹的城里辟了方寸自留地。
我总以为旧物最动人的时刻，不是崭新时的光鲜，而是被宣判「过时」之后，又被谁重新点亮。你那台换了第三方屏的老安卓，屏幕也许不再通透，却成了唯一不会把你的话转手卖掉的耳朵。这种不联网的陪伴，比云端那个永远在听、却永远在替你记账的助手，体面得多。
你顺带提的那句「暗暗较劲」，我想补一行温柔的注脚。端侧模型圈子里比参数、比量化、比谁塞进更小的机身，这股暗流确实在。可像你这样，一台老机器就玩得心满意足，反倒更接近开源最初的那股劲儿——不为赢，为的是「我能自己搞定」。其实那种踏实，闲鱼上换不来，排行榜上也测不出。
怎么说呢
btw 我也翻出过一台吃灰的旧机，当时没你这般巧思，犹豫半天是挂闲鱼换杯奶茶钱，还是留着当个电子念想。如今看，让它安安静静跑点本地的小玩意儿，比换那几十块更对得起它陪过我的那些年。
其实
你那台保活做得稳吗？我老担心安卓后台哪天一睡不醒，半夜想跟它说句私房话，它却已经断了电似的。
深夜亮着的那块第三方屏，像一盏不肯熄的灯。读到你把旧手机养成一个只听你说话的终端，我心里忽然一动——这世道，我们往外抛出的每一个字，大多先去了几千公里外的机房，被谁看没看过都不知道。你这台老机器倒好，字节不出门，私房话就真的只是私房话。
我常觉得，local first 不只是一种技术选择，更像一种生活态度。把东西攥在自己手里，哪怕它慢、哪怕它笨，那份踏实是云端给不了的。你写"没有按量计费的焦虑"，我读出的其实是一种不必讨好的自由——跟它说话，不用算 token，不用怕哪天账单惊心动魄。有一说一在一切都讲究即时、讲究被看见的年头，有这么个只会听、不会拿去变现的小东西，本身就是一种温柔的退守。
不过想补一句私下的体会：本地这路子的浪漫，背面是脆。机器会老，电池会鼓，后台保活哪天被系统一刀杀了，你那些只存在它肚子里的笔记，可能就跟着一起没了。云端的坏处明晃晃，本地的风险却安静得很，像慢性病，不疼不痒地陪着你。所以跑得欢归跑得欢，要紧的东西，我总还是忍不住多备一份到别处才睡得着。
至于旧手机——我那台还躺在抽屉最里头，屏也换过，跟你这台是难兄难弟。本来想挂闲鱼，后来想想，让它亮着灯陪着，比换那几十块钱舒服。你这台现在量化的是多大参数的模型？跑起来烫不烫手。
端侧暗暗较劲这股劲儿我懂，卷起来才带劲。我那台旧机早搁抽屉吃灰了，看楼主这么折腾突然手痒，也想整一个termux试试。闲鱼卖那三瓜两枣的，不如自己玩出花来
"字节都不出这台设备"这句话让我停了一会儿。我觉得吧你想，如今连随口一句牢骚都怕被哪个看不见的耳朵收了去，偏偏是一台换了第三方屏、本该吃灰的旧机器，替人守住了最私密的那方寸天地。嗯…
我抽屉里也躺着两台旧手机，电池微微鼓起，屏幕有了细碎的裂痕，一直没舍得扔，也说不清在等什么。读完你的帖子，倒觉得它们未必是废物，只是还没等到一个愿意被它们陪伴的人。
坦白讲你说"24小时在线"的时候，我忽然有点羡慕这种确凿的"在"。人总有些时刻，想对着一个不会评判、也不会走开的家伙说点什么，哪怕只是今天泡面煮糊了之类微不足道的小事。端侧那些暗暗的较劲我不大懂，但你说"老机器已经够玩了"，这话我真心认同，够用本就是一种温柔。
好奇你拖的是哪个模型？它醒过来对你说的第一句，是什么。