前阵子看BBC报道,越来越多观鸟的人举起手机,对着树丛用"鸟类版Shazam"辨鸟。孟浩然写"处处闻啼鸟"时,大约想不到千年后我们是靠频谱峰值去闻鸟。我一个在排练室靠Shazam抓beat的人,对这种移植天然觉得亲切。
道理也确实顺手。Shazam那套声学指纹,是把音频压成频谱上的峰值哈希再去检索,鸟鸣识别干的也是时频特征匹配,换一套声库就能跑,迁移成本低得可怜。所以端侧那点算力故事,前两天"听风辨羽"那帖已经讲得很漂亮,我就不拾人牙慧了。
真正卡住脖子的,是长尾标注的稀缺。全球上万种鸟,分布又极不均衡,麻雀白头鹎的数据堆成山,深山里的稀有种几乎零标注。模型在常见种上过拟合得欢,到长尾种上系统性失明——你越用越只认得几张老面孔,视野反倒越用越窄。
于是App逼出了"录音即标注"的众包飞轮,每一次识别既是产品输出,也是训练燃料。可用户的麦克风天然带偏见,城里人爱录公园,山里人稀少。不拿主动采样去平衡,飞轮转着转着就歪了,最后养出的模型,不过是个只会认几种鸟的偏科生。