多乐游戏吧:图灵奖获得者LeCun最后警告Meta！我搞了40年AI大模型是死路

多乐游戏苹果版下载:

  【新智元导读】图灵奖获得者LeCun与Meta分道扬镳！LLM邪路一条，「世界模型才是」未来。

  据多家权威新闻媒体报道，Meta首席AI科学家、负责「基础AI研究」（FAIR）的Yann LeCun，预计将很快离职。

  这位65岁的AI界元老，在Meta这家全球最大的科技公司之一担任核心大脑，可以说拥有无限的资源。

  那么，LeCun为何要离开Meta呢？只是因为Meta的人事动荡吗？背后有何隐情？

  今年夏天，年仅28岁的Alexandr Wang成为Meta的首席AI官，让这位初出茅庐的大语言模型狂热者成了LeCun的上司。

  此外，Meta今年还任命了另一位相对年轻的首席科学家赵晟佳（Shengjia Zhao），职位也在LeCun之上。

  在官方公告中，Meta盛赞了赵晟佳在scaling方面带来的「突破」。而LeCun恰恰对scaling失去了信心。

  如果你好奇为什么LeCun和Zhao都是首席科学家，那是因为Meta的AI部门组织架构相当奇特，分成了多个独立的团队。

  上个月，Meta超级AI实验室裁掉了数百人，包括10年老将田渊栋。据称，这是为了理顺这种混乱的局面。

  而那支曾由LeCun领导、风头一时无两的FAIR，如今早已风光不再。据现任与前员工透露，这个部门经历了裁员、预算缩水，内部影响力也明显下降。

  曾几何时，FAIR是Meta内部思想最活跃的「象牙塔」，研究人能探讨各种AI未来路径，还可以做些「未必能成」的实验，完全不需要过多的担心产品化问题。

  而现在，Meta新组建的AI研究部门招来一大批高薪新兵，由Wang主导，目标明确：要快、要落地、要产品化。

  他曾在多伦多的Geoffrey Hinton实验室工作，那时Hinton还没成为AI传奇人物。

  之后，他的职业生涯大多时间都在新泽西州的贝尔实验室度过，这家机构因诞生众多创新发明而闻名。

  「最让我兴奋的事情，就是和比我聪明的人共事，因为这会放大你的能力。」LeCun在2023年杂志采访时说道。

  在贝尔实验室，LeCun曾参与开发手写识别技术，这项技术后来被大范围的应用于银行自动读取支票。他还参与了一个项目，致力于将纸质文档数字化并利用互联网分发。

  LeCun曾表示，自己从小就对物理感兴趣，在贝尔实验室期间也主要和物理学家合作，看了不少物理教材。

  我学到了很多表面上与AI或计算机科学无关的东西（我本科是电气工程，计算机方面的正规训练其实非常少）。

  2003年，LeCun开始在纽约大学教授计算机科学，后来成为该校数据科学中心的创始主任。

  2013年，扎克伯格亲自邀请他加入Facebook（当时还未更名为Meta），组建全新的AI实验室。

  他领导这个团队四年，2018年卸任，转为公司首席AI科学家，以「个人研究员」身份继续探索技术前沿。

  2018年，他与Geoffrey Hinton和Yoshua Bengio共同获得图灵奖——计算机界的最高荣誉，以表彰三人在神经网络方面的奠基性工作。

  自那之后，LeCun就逐渐转为「象征性人物」角色。他没有参与Meta首个开源大语言模型Llama的研发，也早就不再参与这类项目的日常工作。

  据与他共事的人透露，LeCun现在主要在做自己的研究项目，也经常出席各种技术会议，发表对AI技术的看法。

  面对媒体的报道，Yann LeCun只是指出了报道中的「小错误」，并没有否认即将离职的消息。

  他知道自己在包括Meta在内的整个硅谷技术圈内，备受冷落。上个月在MIT的一次研讨会上，65岁的LeCun直言：

  这些年，我在硅谷、包括Meta的很多角落都不太受欢迎，因为我一直在说，3到5年内，世界模型将成为主流AI架构，没人再会愿意用现在这种LLM。

  但他坚信自己对AI未来的判断。他的老朋友Léon Bottou曾告诉媒体，LeCun「倔强得可爱」——他会听别人意见，但更有自己坚守的信念。

  在通往通用AI的道路上，LeCun近来以其对大语言模型的尖锐批评而闻名。

  他认为，无论科技巨头如何扩大其规模，我们目前所理解的大语言模型都已是「强弩之末」，是一条「岔路、干扰，一条死胡同」。

  他投身AI研究已有40年，对AI的判断屡屡应验。如今，他认为大多数人都错了。

  他为现代AI奠定了诸多基础。而现在他坚信，领域内的大多数人都被大语言模型的「海妖之歌」引入了歧途。

  所谓「世界模型」，类似小动物或婴儿那样，通过视觉等感知数据主动学习世界规律；而LLM只是依赖海量文本做预测的模型。

  Meta的Llama、OpenAI的GPT、谷歌的Bard这些模型，都是靠海量数据训练出来的。LeCun估算，如果让人去读完它们训练所需的所有文本，大概得花10万年。

  我们从与世界的互动中，获取的信息要多得多。LeCun估计，一个普通的四岁小孩接触过的数据量，是目前最大的LLM的50倍。

  而他自己，早就准备好了替代方案。他称之为「目标驱动的AI」（objective-driven AI）。

  由此构建出的「世界模型」能呈现行动带来的影响，所有潜在变化都会实时更新至系统记忆。

  在年初的「巴黎AI峰会」上，Yann LeCun精确指出，他是可穿戴设备的坚定信徒。

  他认为，未来，我们应该与可穿戴设备互动，就像与人交流一样，而大语言模型根本不像人类那样理解世界。

  这些动物能完成惊人的壮举，它们理解物理世界。任何一只家猫都能规划出极其复杂的行动，因为它们拥有关于世界的因果模型。

  为了说明这一点，LeCun设计了一个思想实验：「想象一个立方体悬浮在你面前的空中。好，现在让这个立方体绕着垂直轴旋转90度。它会是啥样子？」

  当然，大语言模型可以毫不费力地写一首关于悬浮旋转立方体的打油诗，但它没办法真正帮助你与这个立方体互动。

  LeCun断言，是因为文本数据与处理非文本世界所获得的数据之间有本质差异。

  他指出，尽管大语言模型训练所用的文本量需要一个人花45万年才能读完，但一个四岁的孩子在醒着的16000小时里，通过眼睛看、用手触摸，已经处理了高达1.4x10^14字节的关于世界的感觉数据——

  顺便一提，这些只是LeCun在演讲中给出的估算，他在其他场合也给过不同的数字。但这些数字指向的核心观点是：大语言模型存在着局限，而LeCun相信世界模型能够克服这些局限。

  在Meta时，LeCun其实慢慢的开始研究世界模型——他还拍了一个介绍视频，开头就让你想象一个旋转的立方体。

  在AI行动峰会的演讲中，他理想中的模型包含一个对「当前世界状态的估计」，以某种抽象形式呈现与当前情境相关的一切。它不再是按顺序预测token，而是「预测在你采取一系列行动后，世界将达到的最终状态」。

  他表示，世界模型将使未来的计算机科学家可构建出「可以规划行动——可能是分层级的——以实现某个目标的系统，以及可以有效的进行推理的系统。」

  LeCun还坚称，这类系统将拥有更强大的安全特性，因为控制它们的方式是内置的，而不是像现在这样，面对一个神秘莫测、只会输出文本的黑箱，只可以通过微调来加以修正。

  LeCun所说的经典AI——例如搜索引擎中使用的软件——所有问题都可以归结为优化问题。

  他提出，他的世界模型将审视当前的世界状态，并通过寻找高效的解决方案，来寻求与某个不同状态的兼容性。

  LeCun在演讲中解释道：「你需要一个能量函数来衡量不兼容性，给定一个x，找到一个对于该x能量较低的y」。

  如果说，我们从LeCun的公开言论中拼凑出的「真相」很粗糙、有些模糊，甚至完全错误，那也完全正常。

  他希望推动AI领域迎来又一次类似ChatGPT那样的、诞生惊人能力的爆发式发展。

  但这在大多数情况下要耗费数年——甚至永远没办法实现——更加不用说数十亿美元的投资了，才可能看到任何真正了不起的成果。