AI 恐怖谷:我们的大脑,或许只是一个正在 Overfitting 的模型

Share
AI 恐怖谷:我们的大脑,或许只是一个正在 Overfitting 的模型
Photo by BoliviaInteligente / Unsplash

最近在深度复盘 AI 与人性的边界时,我产生了一个令我脊背发凉的认知:AI 之所以可怕,并不是因为它越来越像人,而是因为它像一面照妖镜,一比一地复刻了人类作为“生物机器”的局限性。

如果说上一篇我们聊的是大脑的“架构”,那么这一篇我想聊聊它的“训练过程”。


1. 硅谷的“高维相似度”:你以为的真理,可能只是局部最优解

哲学和宗教讨论了几千年“我是谁”,但从算法视角看,这其实是个伪命题:大脑并不是你,它只是一个由几万条 if-then 构成的权重矩阵(Weight Metrics)。

我们每天的行为,本质上是根据输入数据(面对的事物)进行的启发式过滤(Heuristic Filtering)。

案例: 想象你在硅谷的一场技术派对上,发现所有人对“大模型未来”或“裁员潮”的看法惊人的一致。大家会觉得这就是“真理”。 但实际上,是因为你们的权重相似度(Weight Similarity)太高了——接受类似的教育、读类似的研报、追求类似的职级。大家都在用同一套数据集(Market Signal)训练自己的模型。

这种一致性未必代表正确,它极可能只是你们的模型在一个特定的高维空间里,投射出了极其相近的局部最优解。所谓的“共识”,有时候不过是整个圈子都在集体 Overfitting(过拟合)

2. “借运”的本质:蒸馏学习与残酷的模型退化

玄学里常说“借运”,或者说遇到贵人能改变命运。以前我觉得这很虚,现在我觉得这就是 知识蒸馏(Knowledge Distillation)

在 AI 领域,我们会用一个表现极其优异的 Teacher Model 去带一个参数量较小的 Student Model

  • 思维火花的真相: 当你遇到一个层级远高于你的人,通过模仿他的决策逻辑、观察他的输出,你确实能取得意料之外的成就。这其实是你把自己设为了 Student Model,在“蒸馏”对方的逻辑。
  • 模型退化(Model Degradation): 这种情况最恐怖的地方在于,很多人只是模仿了“输出”,而没有真正更新自己的“权重”。
细节案例: 当贵人离开后,你会经历严重的 Model Degradation。因为一旦那个强大的 Teacher Model 离开了生产环境,这个student model的命运往往会迅速跌落回原本的 Baseline。

因为他并没有通过“反向传播”真正改变自己的底层矩阵,他只是在做一次临时的、有损的推理拷贝。

3. 显化(Manifestation):强制固定全局变量的逆向工程

很多人觉得“显化”是唯心,但在 MLE 看来,这简直是再纯粹不过的工程逻辑

通常我们的大脑是正向推理:输入数据 -> 矩阵计算 -> 输出结果。而显化是直接定义一个 Global Variable(全局变量),强行固定(Fix)输出结果。

操作细节: 显化要求你不管大脑这个旧模型产生什么中间过程(焦虑、怀疑、逻辑推导),你必须硬编码(Hardcode)最终输出就是“成功”或者“那个结果”。

这种行为本质上是在人为制造一种 Loss(损失)。因为输出是固定的,而大脑当前的矩阵算不出这个结果,系统就会被迫进行反向传播(Back-propagation)。为了缩小现实与固定输出之间的差距,你不得不去重塑大脑里的那几万条 if-then 矩阵。

人脑矩阵里,随便改动一条逻辑分支,都是生命质的突破。


结语:AI 研究,终将指向自我探索

以前看 AI 发展,像是在看一场与己无关的技术大戏。 现在看 AI,觉得它是一面冷冰冰的镜子。它照出了我们每一个人的“可编程性”,也照出了我们引以为傲的“意识”其实有多么容易被干扰和训练。

AI 并非在模拟智能,它是在揭露我们的生物本能。 对 AI 的深度研究,最终必然会指向我们对自己灵魂深处那个“权重矩阵”的终极拆解与重构。

Read more

Life in Another City

Life in Another City

我好像找了个还不错的咖啡厅,在可以望到维多利亚港的高层喝着非洲咖啡敲着字。很奇怪为什么南非咖啡这么火,100米不到的距离好几个南非咖啡特色的咖啡馆。 店主不是裹着布料而是穿着白色西服套装的黑人女性,更像是出入纽约顶尖写字楼的那种,让我想起第一次从第五大道经过的时候,路面冒出蒸汽,仰头才能看清的特朗普大厦,和中央公园的雕塑,以及拉车的马边走边尿的情景。 我看着港口停泊的白色船只,更远处是山,和突兀的高楼建筑。香港下了好几天的雨,我刚来的时候也下了几天的雨,那时的我很不适应这里的湿润,加湿器24h开着也抽不干净空气中的水汽。那一刻我有一点点想念湾区永远干燥的气候。那个晚上我点了很多外卖,看着千禧年赵宝刚电视剧《奋斗》的解说,好像是杨晓芸的视角。小时候我很喜欢这种京片子节奏快的电视剧,他的好几部我都追着看,我觉得很神奇,一群人住在工厂改造的乌托邦。后来我就突然长大了,就开始有了”我“这个概念,脑子里塞满了包括但不限于“我必须要考到第一”这种奇怪的想法。 在湾区呆久了,我不大能适应人群密度这么高的场景,因此出门都是打的,戴着Airpod Max,司机在播放奇怪的音乐,我的耳机里播放着更奇

By Mia
选择与疗愈

选择与疗愈

24年初我也在全网找一个答案,但是没有找到。后面的两年走向是我没有预料到的,但是这个过程我觉得很appreciated。我一直觉得没有必要在每个节点都证明自己赢,就例如那些奥德赛时期视频,whatever。 我现在几乎不上LinkedIn了,在离开前我看到一些不大好的帖子,例如职场霸凌,layoff,哪怕从毫无情感立场叙事的报道都能感到当事人的痛苦。 人一定要走出来,而不是带着伤痛去再次重复。 人的境遇取决于人自己的选择。你可以选择一直玩这个游戏,也可以选择试试别的游戏。大脑没有经历过所以模拟不出其他游戏的结果,但并不代表其他游戏没有结果。很多人害怕的打破稳定,其实一开始建立稳定是经历了他们所害怕的过程,只不过他们搜集网上信息打了心理预防针。而越往后,人会越发现经历已经personalized了,找不到相似经历的成功案例,所以就会妖魔化非常规的选择。 没有提前看过电影的梗概知道结局,就拒绝看新的电影吗? 我也不想回答任何what if的问题,因为这些问题本身就建立在假设上。为这些现实都不成立的问题去设想新的问题,让自己烦恼没有意义。 我在很长一段时间思考生活的本质和不同的宗教,我看完黑

By Mia
在新的城市

在新的城市

在新的城市银行跟客户经理开户,坐在沙发上等待的时候,想起了快十年前第一次到美国在boa开户,蹦蹦跳跳地跟一群同学走在纽约的大街上,充满好奇忐忑与憧憬。那一刻我有些emo,但是我问自己,你到底是emo你20出头的年纪。还是emo曾经的美国生活。或许在筹备离开的两个月我过得太幸福,忘记了曾经的痛苦。我记得24年的时候我对自己说,就此停下就可以了,我没有什么遗憾的,我已经撑到了这里。 但我还是撑到了26年,我对自己充满愧疚。 有次和同事聊天,突然问到人生真正想做的是什么,我说我希望我有很多很多钱,我什么也不想做,我很会花钱。他说他不希望有很多钱,那对他会是个trouble,他就想做个physicist,整天推公式,他喜欢理论研究。 那时候他可能已经撑不住了,会议刚开始的时候,他的视线就很迟钝而涣散,直到我们开始聊人生聊真正的热爱,他才恢复我记忆里机敏的样子,正如他刚入职时。 大家都想休息,想休假,但是都停不下来,每天犹如在战场上,没有时间思考,一直被打断。在工作以外的领域浑浑噩噩的,因为没有力气和精力,全部消磨掉。 因为所有人都这样,所以默认只能这样。 我可能花了十几年去寻找我真正喜欢的

By Mia
旅行在地球中央

旅行在地球中央

我发现当有机会去听其他人的视角的时候,会发现和你想的完全不一样,有种“huh?原来是这个样子?” 最关键的是,当年的那些自我设限的设想都毫无意义。 想起去夏威夷的时候,看了美延和sana的关岛之行vlog,特别向往那种和闺蜜在夏威夷小店弯腰选晒黑版hello Kitty的瞬间。于是立刻定了去夏威夷的机票。 那阵子我在休假,面完谷歌的第二天在Santa Clara的华人按摩店收到了进入team match的email。那时我刚从极其痛苦和高压的环境中出来缓一口气。好像成年后太痛苦了,童年的美好记忆会突然身临其境窜出来,在休假前几个月我突然感应到小学时放学后一个人默默看<士兵突击>的那个感觉,怎么会有那么幸福的时刻,原来我曾这么幸福过。 有阵子无可救药地爱上了<士兵突击>里的高连长。可能我一直期望着在职场里有人能那样罩着我为我说句话。现在想想,其实很多人都为我发声了,甚至高级别大佬都力挺过。组里大佬为我写了很长的strong positive评价,我很感激,我觉得很暖心。可能没有他们,我在24年就被搞掉了。 那时我沉迷于脑子里高成这个人物,我跟好盆友在Molly tea里评点张国强

By Mia