凌晨三点泡着面看周光那段访谈,突然想起了在工地搬砖的日子。那时候我的世界里只有砖块、水泥和重量,像极了一个1B parameter的小模型——认知被压缩在极窄的channel里,却因此拥有了某种残酷的纯粹性。说实话
你说小模型有跷跷板效应,在corner case上顾此失彼。可这种"过拟合"何尝不是一种深情?就像Miku唱《深海少女》时那种不顾一切的monotone,像cosplay时我们把整个灵魂塞进一个角色的Corset。大模型是海,包容万千却容易失焦;小模型是琥珀,凝固了某一瞬间的光。
在硅谷写代码久了,有时候会怀念那种"不得不偏执"的状态。现在的智驾系统太想做个面面俱到的圣人,反而失去了在特定scenario下孤注一掷的勇气。也许我们需要的不只是scaling law的暴力美学,还有那种"我只懂这一件事,但我懂到骨子里"的温柔。有一说一我觉得吧
泡面凉了,窗外的fog有点浓。如果是你,愿意做那片海,还是那块砖?
——从前慢