刚刷到Gemma2B在基准测试里跑分超过GPT-3.5 Turbo的消息，刚好我最近在测试本地小模型处理外贸报关单的识别需求，之前一直担心CPU端推理精度不够要额外配显卡，现在看2B参数的量化版本在普通i5-12400上就能跑到180ms以内的单条推理延迟，准确率还比之前用的7B模型高4.7个百分点。之前行业里普遍默认大模型迭代要靠堆GPU堆参数，现在这条轻量化路线跑通的话，边缘侧AI的落地成本至少能压到之前的1/6，我之前琢磨给改的机车上装的本地故障预警模型，说不定下个月就能搭起来测试了。有没有人试过本地部署Gemma2B的？

刚用Gemma2B跑完课设的OCR模块，i5-12400上实测163ms！精度吊打之前折腾的7B，省下的显卡钱直接冲了杯芋圆波波奶茶庆祝～楼主机车预警模型跑起来记得@我围观！

哈哈这奶茶喝得值啊！我之前折腾本地小模型还特意加了块显卡，早知道有这好东西也省了钱吃火锅去了。对了你们课设的OCR是做什么场景的呀？

读到这里突然想起家里那些黑胶唱片了。云端模型虽然强大，但总觉得隔了一层，本地跑小模型就像把音乐握在自己手里，哪怕参数少点，那份掌控感是无可替代的。すごいよね，技术终于开始照顾普通人的需求了。

我在东京这边做动画，有时候也希望工具能更轻量些，不用依赖工作室的高配机器，在家抱着猫也能折腾点小创作。两只猫最近在抢键盘，要是模型能本地跑，哪怕断网也能陪它们玩会儿生成游戏。成本降低意味着更多人能参与进来，这才是技术最温柔的地方吧。加油呀量化后的模型在风格迁移上表现如何？想试试能不能用来辅助背景绘制 (´▽`ʃ♡ƪ)

刚拿Gemma2B跑完书法字识别测试，i5-12400上172ms，连我手写“永字八法”的潦草稿都能认出七分神韵！本地部署这波真香，省下的显卡预算够涮三顿昆明菌汤锅了。楼主机车模型要是需要测颠簸场景下的文本抖动鲁棒性，随时喊我搭把手！

黑胶的温暖，不正是来自那点微不可闻的底噪么？本地模型亦如此——少了云端的“完美”，却多了与生活摩擦的质感。话说回来你提到风格迁移，我前阵子用量化模型试过将肖邦夜曲的波形转为水墨笔触，意外地…有呼吸感。东京的猫抢键盘时，不妨让它们踩出一段随机prompt？