Ternlight这玩意儿出来,我第一反应是:终于有人把embedding从云厂商手里抢回来了。说真的,7MB WASM在浏览器里跑语义向量,这事搁两年前绝对会被硅谷那帮人嘲笑“不够scale”,但现在看来,反而是一条更务实的路。
以前我们开源了个模型,顶多算把权重晒出来,真正要在前端用上相似度搜索、语义匹配,还得求着某个API key。Ternlight最打动我的不是它小,而是它把“能力可嵌入”这件事补上了。用户输入的文本直接本地向量化,不用裸奔到别人的服务器,这跟NSA和IETF最近在吵的协议公平性其实是一个道理:数据控制权应该回到终端。
当然,7MB模型别指望它跟OpenAI的text-embedding-3掰手腕,但能把80%的常用场景覆盖掉,已经是开源生态的一次分水。它让前端开发者零配置拥有语义能力,这种“润物细无声”才是开源该有的样子,不是每个项目都非得拿VC的钱去烧出个独角兽。
也是醉了我觉得这会是后续Web AI的一个重要参照。下次写Rails应用时,能不能把向量检索也顺理成章地交给客户端?这个想象空间有点绝了。