当前位置：首页 > 编程日记 > 正文

图灵奖得主LeCun力推无监督学习：要重视基于能量的学习方法

编程日记 2024-12-20 04:00:00

作者 | Tiernan Ray

译者 | 夕颜

出品 | AI科技大本营（ID:rgznai100）

导语：图灵奖得主深度学习大牛 Yann LeCun 表示，人工智能的下一个发展方向可能是放弃深度学习的所有概率技巧，转而掌握一系列转移能量值的方法。

据说，工程师和某些科学家（大多数是工程师）可以把构思的东西在脑中视觉化。Facebook 的人工智能负责人 Yann LeCun 似乎就是这类人。

他在《When the Machine Learns》一书中写道：“我主要是凭直觉工作。”这本新书既是传记，又是科学讲座，又是一部人工智能简史，本周三以法语出版，书名为《Quand la machine apprend》（中文大意：当机器学习时）。

LeCun 写道：“我想到了爱因斯坦称之为‘思维实验’的临界案例。”

想象不存在事物的能力，也许通常被认为是可行性的极限，也是工程师和创新者的标志。LeCun 在 AI 人才中很少见，他既是算法设计领域的专家，同时在计算机工程领域也颇有建树。

LeCun 今年因其对计算机科学的贡献而获得了 ACM 图灵奖，他最负盛名的成就是在 1990 年代改进和完善了卷积神经网络（即 CNN）并使其实用化。他并非从零开始创造了 CNN，但他让 CNN 变得实用、可行。这奠定了机器学习革命的基础，在过去十年中，LeCun 与他的伙伴，另两位获奖者 Geoffrey Hinton 和 Yoshua Bengio 一起在机器学习中脱颖而出。

LeCun 本周三在新泽西州普林斯顿高等研究院进行了演讲，活动由研究所数学教授 Sanjeev Arora 组织，吸引了许多 AI 专家，包括英伟达的 AI 研究负责人 Anima Anandkumar 和 LeCun 在 Facebook 的学者同事 LéonBottou。

LeCun 的演讲是他最近在许多讲座中所采用的主题：如何超越常规深度学习的标记训练示例。他对听众说：“在监督或多任务学习中，我们将不会获得像人类一样可以泛化的智能。我们必须要换个方向。”

LeCun 认为，这个其他方向就是无监督学习。为了使无监督学习成为可能，整个领域可能需要在基于能量的学习方法上做更多的工作。

能量函数在 AI 领域已经存在数十年了。生物学家约翰·霍普菲尔德（John Hopfield）于 1980 年代首次通过后来称为“霍普菲尔德网络”（Hopfield Network）的方法普及了这一概念。这在当时的机器学习中是一个突破，让其他类型的学习算法可以处理能量场的概念，例如 Hinton 所研究的“玻尔兹曼机器”。

LeCun指出：“基于能量的学习已经存在一段时间了，但由于需要减少监督，最近我又想到了它。”

细节很难懂，但其基本思想是，无需创建大量带有标签的数据集（例如猫和狗的图片），也不用花费数千个小时训练 DeepMind 的 AlphaZero 这样的国际象棋游戏，而只是获取一些丰富的原始数据，例如大量 YouTube 视频，然后“喂”给计算机。

LeCun说：“让机器变得足够大，整天观看 YouTube 或 Facebook Live 就行。”由此可以训练机器预测视频中每一帧后的下一帧。预测与现实之间的兼容性就是所谓的能级（energy level）。能量越少越好，更兼容、更准确，因此神经网络需要努力达到理想的低能量状态。

原文链接：

https://www.zdnet.com/article/high-energy-facebooks-ai-guru-lecun-imagines-ais-next-frontier/

（*本文为 AI科技大本营编译文章，转载请微信联系 1092722531）

◆

精彩推荐

◆

2019 中国大数据技术大会（BDTC）再度来袭！豪华主席阵容及百位技术专家齐聚，15 场精选专题技术和行业论坛，超强干货+技术剖析+行业实践立体解读，深入解析热门技术在行业中的实践落地。

即日起，限量 5 折票开售，数量有限，扫码购买，先到先得！

推荐阅读

确认！语音识别大牛Daniel Povey将入职小米，曾遭霍普金斯大学解雇，怒拒Facebook

大规模1.4亿中文知识图谱数据，我把它开源了

自动驾驶关键环节：行人的行为意图建模和预测(上)

不足 20 行 Python 代码，高效实现 k-means 均值聚类算法

巨头垂涎却不能染指，loT 数据库风口已至

【建议收藏】数据中心服务器基础知识大全

从4个维度深度剖析闪电网络现状，在CKB上实现闪电网络的理由 | 博文精选

身边程序员同事竟说自己敲代码速度快！Ctrl+C、Ctrl+V ？

100 美元一行代码，开源软件到底咋赚钱？

相关文章：