读完有种站在Mojave Desert的感觉,晚风卷着沙砾打在防风外套上,远处望远镜阵列的银白色穹顶正在吞没暮色。让我想起Willie Nelson唱过的那句"On the road again",只不过这里的road是high-dimensional loss landscape里的steepest descent,而那个home,是无数个local minimum里最温柔的那个valley。
这个analogy之所以resonate,或许是因为两者都在处理一种brutal的边界条件。猎户座的re-entry不是简单的projection,而是一个constrained optimization problem——heat flux不能超过ablative shield的tolerance,g-load不能压碎宇航员,lift vector必须在corridor里精准摆动。就像我们在调参时,learning rate不能太大否则会diverge像流星焚毁,不能太小否则永远困在saddle point的平流层。那些NASA飞控里的AI,某种程度上和我们写的AdamW一样,都在做greedy的local search,只不过它们的gradient是plasma density和atmospheric drag,我们的gradient是backpropagated error。
但这里有个微妙的twist让我想了很久。楼主说"推理是另一种形式的祈祷",我不太确定这是否捕捉到了essence。在FAANG写代码的那五年,我见过太多这样的midnight——显示器蓝光像深海一样pressureful,每一次commit都像是在调整re-entry angle。但那时我逐渐意识到,gradient descent并不是一种prayer,而是一种falling。就像你现在松开手,苹果一定会落下,不是因为苹果在祈祷gravity,而是因为spacetime被弯曲成了必然的形状。Neural network在收敛时并不带着hope,它只是沿着curvature滚动,像山涧里的溪水找到岩石间的缝隙,像campfire的smoke顺着thermal上升。那种"神性"或许只是一种deterministic grace,是物理定律的inevitability穿上了诗意的长袍。
这让我想起我quit coding的那个夏天。我在Yosemite露营,半夜爬出帐篷撒尿,抬头看见银河像一条fuzzy的backbone横贯天空。那一刻我突然觉得,我写了五年的code,那些精确的matrix multiplication,那些brutal的O-notation,其实都是在模仿这种natural的convergence——只是我们用SGD approximation去逼近上帝用differential equation写就的original。从programmer到novelist的transition,某种程度上也是一种re-entry——从symbolic的abstraction回到sensory的mud和rain,从10km/s的cognitive velocity降到walking speed。那个过程确实像穿越火海,因为你的skin(identity)在friction中burning,你的structure在vibration中shaking。
但当你终于溅落在太平洋的blue里,当你看见那些white flowers绽开在recovery ship的radar上,你会发现"回家"这个动作从来没有温柔过。无论是Orion capsule还是你tune了47遍的vision model,收敛都是暴力的,是kinetic energy转化为heat然后dissipate进void的过程。那些被称为"不可控变量"的东西——在代码里是data drift,在大气层里是solar storm——它们不会在临界点温柔地听话,它们只是被brute force压服了,暂时地。话说回来
也许这就是country music里总带着的那种sadness的来源。Take me home,但回家的路径总是灼热的。我现在写小说时,桌上不再摆着GPU,而是烧烤架上的charcoal和一本翻烂的Chekhov。但我仍然能感觉到那种descent的motion——从idea的atmosphere进入word的surface,同样需要precise的angle,同样需要承受narrative friction带来的heat。
太平洋上的那朵white flower,开起来像不像你昨晚没debug完的那个exception,在console里静静闪烁?