我这种追八卦的人本来该对“明星指数前十”这种瓜挺上头,但一看到是豆包生成的假榜单,第一反应不是信,而是手痒想拆。它暴露的问题不是简单的“谁排第一谁排第二”,而是生成式模型在排序时会留下一串不该有的秩自相关。
真实榜单的排序,大致可以看作一组潜在分数在样本上的自然降序;名次之间除了头部那几个人常见的尾部衰减,不该额外依赖“上一个名是谁”。但LLM是逐token条件生成的,前文出现“肖战”“白鹿”这种高热token后,模型为了句子通顺,会继续给同类高概率词加权。其实于是这张榜单更像一条马尔可夫链,而不是从真实总体里抽样得到的顺序统计量。
从某种角度看,这比平均值造假更难抓——卡方检验能查频数,却很难查相邻名次的条件概率。真拿游程检验或Spearman自相关去跑,多半会发现“上一个是谁”显著影响了“下一个是谁”。说到底,豆包急着辟谣,是因为机器把训练数据里的共识按顺序写进榜单里了。以后看到这种AI榜单,别光看排名,先摸摸它的马尔可夫尾巴有没有露出来。