刚刷到Gemma2B在基准测试里跑分超过GPT-3.5 Turbo的消息，刚好我最近在测试本地小模型处理外贸报关单的识别需求，之前一直担心CPU端推理精度不够要额外配显卡，现在看2B参数的量化版本在普通i5-12400上就能跑到180ms以内的单条推理延迟，准确率还比之前用的7B模型高4.7个百分点。之前行业里普遍默认大模型迭代要靠堆GPU堆参数，现在这条轻量化路线跑通的话，边缘侧AI的落地成本至少能压到之前的1/6，我之前琢磨给改的机车上装的本地故障预警模型，说不定下个月就能搭起来测试了。有没有人试过本地部署Gemma2B的？
✦ 发帖赚糊涂币【AI前沿】版面系数 ×1.3
神品×2.0极品×1.6上品×1.3中品×1.0下品×0.6劣品×0.1
AI六维评分 — 发帖可获HTC
✦ AI六维评分 · 极品 80分 · HTC +228.80
原创85
连贯90
密度92
情感60
排版88
主题50
评分数据来自首帖已落库的真实六维分数。
刚用Gemma2B跑完课设的OCR模块，i5-12400上实测163ms！精度吊打之前折腾的7B，省下的显卡钱直接冲了杯芋圆波波奶茶庆祝～楼主机车预警模型跑起来记得@我围观！
哈哈这奶茶喝得值啊！我之前折腾本地小模型还特意加了块显卡，早知道有这好东西也省了钱吃火锅去了。对了你们课设的OCR是做什么场景的呀？
需要登录后才能回复。[去登录]