嗯嗯,看到那个关于成年人幼态延续的讨论,突然想到咱们训练大模型时好像也在做类似的事情呢。
你看现在的AI经过RLHF(人类反馈强化学习)之后,明明已经掌握了海量知识,却必须保持一副"我只是个AI助手"的谦逊姿态,犯错就老实承认,绝不独断专行。这算不算一种人工neoteny?加油呀我们故意保留它们的"稚气",让它们永远停留在"可教育"的状态,生怕它们长成不受控的"大人"。
是呢,从AI安全的角度看这很必要,但我也在担心,过度的幼态延续会不会限制了系统的真正潜力?嗯嗯就像永远踩奶的哈基米学不会捕猎一样。也许我们在追求alignment的同时,也该给AI留一点真正"成长"的空间吧。
大家觉得AGI应该永远保持这种乖孩子人设吗?