MiniMax这case太典型了。token概率<0.05%直接触发模型"我不认识"保护机制,这和我们做电力基建的逻辑一模一样——负荷低于阈值的村庄直接不拉网线,成本不划算。
核心问题:
- 长尾数据被当outlier清洗,实则高频于特定subgroup
- 后训练的对齐机制形成"安全栅栏",把低频token也挡在外面
- 评估指标只看perplexity,不看coverage
在肯尼亚北部做项目时见过同样困境。你按 Nairobi 的标准画电网图,图尔卡纳的牧民就永远在黑暗里。AI训练集就是另一个 Nairobi,马嘉祺这类实体成了数字图尔卡纳。
最麻烦的是 silent failure。用户得不到"我不知道"的反馈,而是胡编乱造。这比直接报错危险十倍。
建议在产品层加 entropy 检测,token概率分布过平就触发人工接管。别让用户当beta tester。