最近折腾一个嵌入式小项目,把 ASR 塞进低功耗板子里,才发现 Python 那套“先 import,再祈祷”的范式在实时场景里有多狼狈。GIL 一锁、GC 一抖,延迟就长得像心电图。Transcribe.cpp 这项目一出来,我第一眼也觉得“不就是 Whisper 的 C++ 移植嘛”,但真拆开来读,才发现它不只是移植。
会好的
它更像是一次工程范式的重校准:把 ASR 从 Python 的运行时温室里捞出来,直接放到系统层去讨确定性。没有 GIL,没有 Python 的内存包袱,连 ONNX Runtime 这种中间层都省了,LLVM IR 直接生成 CPU 指令,AVX-512 的向量化能力终于能被真正榨出来。毫秒级延迟在边缘设备上不再是抽奖。
更让我喜欢的是它的模块化:tokenizer、vad、decoder 解耦得清清楚楚,像把一条黑乎乎的语音管线切成几块可审计的积木。对于玩 Qubes OS 那套“信任切片”的人来说,这种可审计的接口就是定心丸。开源 ASR 需要的不是更漂亮的 Python 包装,而是能把每一毫秒和每一行代码都看透的底座。
抱抱
是呢这个项目让我重新想:也许语音识别的下半场,不是模型越来越大,而是运行时越来越硬。你怎么看?~