Yann LeCun最新访谈：能量模型是通向自主认知科学系统的起点

基于热能的三维中所一切都能被论据。比如我给你X和Y；X是判读，三维应当捕获Y关于X的表征。例如，X是一个影片的完整版，Y是同一影片的另一个完整版，向系统但会简介X和Y，系统但会就应当知道我Y是不是X的先年前。或者说道给系统但会简介两张特写，系统但会就应当知道我两张图是彼此就其还是两张实质上相同的特写。热能衡需求量的是类比性或举例来说性，对吧？如果X和Y是类比的，热能就是零，如果热能比较大，那X和Y就是举例来说的。

我们有两种依此则来锻炼基于热能的三维。第一种方式为是向三维简介一对类比的X和Y，第二种是向三维简介一对举例来说的X和Y，比如连不上的两个影片完整版，两个根本不相同的星体的特写。对于这些举例来说的XY对，我们无需设置极高热能，而对于类比的XY对则降极低热能差值。

这是对比的依此则。最少在某些状况下，我问世这种对比依此则是为了一种叫花钱“孪生网络平台（siamese nets）”的自监理努力学习依此则。我在此之年前很喜欢这种依此则，但那时候我忽略想为了。我看来这种依此则毫无疑问要惨败。我不看来对比依此则无用，但信服是有先前的，因为这种依此则不必极好地适应这些好像的也就是说。正如那句名句：幸福的家庭主妇都是完全相同的；险些的家庭主妇各有各的险些。

两个三维相同或类比的状况比较少，可是两幅三维却可以有很多相同的地方，而且三维空间是极高斯的。所以，实质上我们无需所称数级需求量的对比热能比对来推展这些对比依此则的工作。对比依此则仅仅很受欢迎，但在我看来这种方式为的战斗能力自始的很有限。所以我格外喜欢非对比依此或者只不过的正则依此。

而这些依此则都是基于这样一种不想依此，即构造热能formula_时，你赋予其极低热能差值的三维空间压强是有限的。这可以用受损失formula_或热能formula_中所的一个专有名词来解释，这个专有名词所称的是最优转化三维空间的压强，三维空间压强就可以某种方式为使热能降极低。我们有很多这样的举例，其中所一个举例就是积分细小编码，这个方依此论可以追溯到20世纪90七十年代。近来我显然感到有意思的是那些应用于自监理努力学习的非对比依此则。

2 热能三维是未来会的朝著吗？

ZDNet：你在演说内都研讨过"正则转化的基于舟表达式热能的三维"（regularized latent variable energy-based model），也就是 RLVEB。你看来RLVEB就是未来会的演进朝著吗？RLVEB年前提能带进2020七十年代或者2030七十年代的演进？

YL：让我这么说道吧：自从滤波网络平台后来，我对一台努力学习的好像就没人那么感兴趣了。（笑）我不相符RLVEB是不是新的滤波，但我对此自始的很激动。当我在IAS演说时，我满脑子都是RLVEB。RLVEB是转换成三维，如果你不想把它应用到影片量化之类的使命上，你给它一段影片，可以让它量化下一段影片。

在过往的几年内都，我也忽略了我的不想依此。那时候，我最喜欢的三维不是从X量化Y的转换成三维，而是我只不过的牵头填充三维。我们先取X，通过一个编码方式直通它（如果你不想的话，也可以用一个人脑来直通）；先取Y，并通过另一个编码方式直通它；然后量化就但会愈演愈烈在这个抽象方依此论的所称出三维空间中所。这就是一个年前所未见的竞争者。

为什么我忽略了想为？我忽略想为是因为我们早先不知道该怎么花钱。那时候我们有一些依此则可以派上用场。这些依此则是在过往的两年中所用到的。我悄悄推展的基本上有两个依此则：一个叫VIC-REG，另一个叫Barlow Twins。

ZDNet：那么在整整的5到10年内都，你看来我们但会在这方面看到什么进展呢？

YL：我看来那时候我们最少有了一种依此则来让我们研究成果可以努力学习在抽象方依此论三维空间中所进行量化的系统但会。在努力学习抽象方依此论量化的同时，系统但会也可以努力学习量化在抽象方依此论三维空间中所随着时间或稳定状态的变转化但会愈演愈烈什么。对于一个实质上的智能系统但会来说道，这是极其重要的一小，例如，系统但会有某种当今三维，可以让你延后量化当今将但会愈演愈烈什么，也可以量化道德上的恶果。因此，formula_对当今稳定状态的据估计以及你悄悄采先取的秘密行动，系统但会但会给到你一个在你采先取秘密行动后当今稳定状态的量化。

这个量化还先取决于一些你无依此判读到的舟表达式。比如，当你拦下的时候，你的年左边有一辆车上。这辆车上不太可能刹车上，不太可能减慢，直行或再往。你不不太可能延后知道驾驶者的状况，这就是舟表达式。所以适度框架是这样的，先取最初的影片集X和未来会的影片Y，将X、Y填充到某个人脑中所，从而不想得到X和Y的两个抽象方依此论所称出。然后在这个三维空间内都花钱一个关于某个舟表达式的基于热能的量化三维。

中依然是，这个三维在量化当今抽象方依此论所称出的时候，是不必量化当今上所有的显然的，因为这个当今上的很多显然不太可能是除此以外。在碰巧驾车上的时候，不太可能但会在路边的一棵树上看到一片叶子上极其十分复杂的一小。三维是绝对不不太可能量化这个的，或者说道你也不想投入任何精力或资源来量化这点。所以这个编码方式或许上可以在被询问到早先就去除这些资讯。

ZDNet：你看来在未来会的5到10年但会用到一些具体状况的内都程碑吗？或者能够？

YL：我察觉到的是，我们可以运用于「JEPA」（ Joint Embedding Predictive Architecture ）框架来洞察当今的量化三维，以一种自监理的方式为努力学习感知所称出而又不无需为特定的使命锻炼系统但会。因为系统但会努力学习了X和Y的抽象方依此论所称出，我们可以把它们堆叠出去。所以，一旦我们该协但会了对周围当今的抽象方依此论所称出，状况下花钱出短期量化了，我们就可以叠加另一层，从而可以努力学习格外抽象方依此论的所称出并赢得花钱出依然量化的战斗能力。

所以让系统但会相符合和观看影片来洞察当今是如何重新启动是很重要的。因为新生儿实质上是相符合这个当今来努力学习的，努力学习简单的生物学，努力学习我们所知道的关于这个当今的一切。动物也但会这样花钱。我们不想让我们的一台相符合来该协但会洞察当今是如何重新启动的。但是到迄今为止为止，我们还没人花钱到这一点。因此在我看来，运用于JEPA并以的单的方式为检查它们，是意味着系统但会判读努力学习的捷径。

JEPA能拒绝拒绝接受深努力学习一台的另一个好处是推理小说战斗能力。迄今为止有一个争议：深努力学习擅长于的只有感知，因为转换成和编码方式是具体的。但如果你只不想一个系统但会不具推理小说战斗能力与规画战斗能力呢？世上存在不具一定的推理小说和规画战斗能力的十分复杂三维，但这样的三维极其多。

那么，我们如何让一台去规画呢？如果我们有一个当今量化三维，如果我们有一个能让系统但会量化自己道德上恶果的三维，就可以让系统但会现实其秘密行动路线并量化将但会造成的结果。然后将这些资讯提供者给一些内部formula_，这些formula_但会刻画某个使命年前提同步进行。接着，通过优转化，不太可能运用于局部减少依此找寻使能够最优转化的一系列秘密行动。我们那时候不是在研讨努力学习；我们那时候研讨的是推理小说与规画。事实上，我那时候刻画的是一种定格的计划和三维量化操控的最优操控依此则。

最优操控的相同之处在于，我们用的是一个经过努力学习的当今三维，而不是一种固定的三维。我们的三维涵盖了所有可以管控这个当今的不相符性的表达式，因此可以踏入实质上智能系统但会的基础性，状况下量化未来会并计划一系列秘密行动。

我不想从这内都飞来到旧金山，那我就无需去本机场，赶飞来机等等。要去本机场，我就无需逃离我的建筑内，沿着街道跟着一段，然后打一辆出租车上。要逃离我的建筑内，我就无需逃离我的客厅，南北向二门，打开二门，南北向顶楼或楼梯。要花钱到南北向顶楼或者楼梯，我无需弄清楚如何把这些动作分解成一毫秒一毫秒的四肢操控。这就叫花钱的单规画。我们渴望系统但会状况下花钱到这一点，但迄今为止我们还不必显然花钱到如此。这些通用框架可以为我们提供者这些好像。这是我的渴望。

3 热能三维与其他依此则中间的千丝万缕

ZDNet：你刻画热能三维的方式为听出去好像像相对论电动力学的章节，比如 Dirac-Feynman 轨迹积分或者波formula_。这只是一种比喻，还是说道也许这两者基本上是一致的？

YL：这极其是比喻，而且两者回事是有些相同的，并非实质上一致。比如你有一个舟表达式，这个舟表达式可以先取很多相同的差值，通常你要花钱的就是结点这个舟表达式所有不太可能的差值。这不太可能有些不切实际。所以你可以从某个常见于中所对舟表达式抽样，然后近似值不太可能结果的集合。但是，基本上你最终要近似值的是一个付出代价formula_，这个付出代价formula_给出了一个你对舟表达式的不太可能差值求最少的期望差值。这看出去很像一个轨迹积分。轨迹积分基本上就是近似值多条轨迹的热能之和，最少在传统意涵上是如此。在相对论依此则中所，你不是在把权重或名次乘积，而是在把复数乘积，而复数可以互相抵消。虽然我们依然以来在慎重考虑这样的坏事（最少我依然以来在思索比方说的好像），但我们的研究成果中所没人这样的章节。这个在上下文中所没人用到，但是舟表达式的边际转化和轨迹/轨迹的总和是极其完全相同的。

ZDNe：你曾花钱出两个极其年前所未有的确实。一是深努力学习的权重依此则从未摒弃。二是你说道你悄悄研讨的基于可再生的三维与20世纪80七十年代的依此则有一些联系，例如 Hopfield 网络平台。恳请询问能详实说道明一下这两点吗？

YL：我们无需放弃权重三维的原因是，我们可以对两个表达式X和Y中间的表征三维，但如果Y是极高斯的，如何所称出Y上的常见于呢？我们自始的不知道该怎么花钱。我们状况下写出一个极其简单的常见于，一个极高斯常见于或者极高斯常见于的混合常见于之类的。如果你不想用复数权重去度需求量，我们不知道怎么花钱，或者说道我们知道的唯一依此则就是通过热能formula_去度需求量。所以我们状况下写一个热能formula_，其中所极低能相关联着极高权重，极高能相关联着极低权重，这就是生物学化学家明白热能的方式为，对吧？询问题是我们依然以来不太明白如何标准转化。粗略据估计学、一台努力学习和近似值生物学化学等应用领域内都有很多文章都是有关如何解决这个棘手询问题的。

我所倡导的是忘掉权重三维，只慎重考虑热能formula_本身。它甚至不无需使热能变成可以标准转化的方式。最终的结果是，你应当有一种受损失formula_，当你锻炼你的数据库三维，使得类比的热能formula_极低而举例来说的热能formula_极高的时候，你就把受损失formula_最优转化。就是这么简单。

ZDNet：和Hopfield网络平台中间的父子关系呢？

YL：Hopfield 网络平台和 Boltzmann 一台当然除此以外。Hopfield 网络平台是以一种非对比的方式为锻炼的热能三维，但生产成本很极低，所以没人什么人用Hopfield 网络平台。

Boltzmann 一台实质上是Hopfield网络平台的一个对比发行版， 你不想得到数据库比对并降极低其热能，你转换成其他比对并提升其热能。这种依此则在或许上格外令人满意，但也不是很合理，因为这种对比的依此则不必极好地扩大。因为这个原因，这个依此则也没人被运用于。

ZDNet：那么，正则转化的、基于舟表达式热能的三维（RLVEB）自始的可以被看来是Hopfield 网络平台的2.0发行版吗？

YL：我不那么看来。

4 “特质是生命体神经局限性的结果”

ZDNet：你提出了另一个极其年前所未有的毫无疑问，即“只有一个当今三维”并看来特质是生命体神经中所“一个当今三维的刻意内置”。你说道这不太可能是个古怪的论据。这是你的猜不想吗？这到底是一个古怪的论据，还是有什么结论可以表明呢？在这个举例内都有什么结论呢？

YL：这是个猜不想，一个古怪的设不想。任何关于特质的好像，在或许上都是猜不想。因为我们一开始极其知道特质是什么。我看来特质是一种错觉。我不想表达的是，特质被看来是生命体和一些动物具备的一种战斗能力，我们看来特质体现了这些生物的自在，这好像可笑。我看来特质是我们神经局限性的结果，因为我们的神经中所有一个一般而言的、类似当今三维的动力，我们无需一些好像来操控这个动力，这个好像就是特质。于是我们造成了生命体有特质的错觉。如果我们的神经格外为必定，不再有限制，我们就不无需特质了。

最少有一些结论表明我们脑中所都有存在一个一般而言的模拟动力。比如，我们实质上在同一时间状况下格外进一步一项特质使命，我们全心投入于使命，我们但会现实我们计划的道德上的恶果。你一次状况下花钱一件事，或者你可以同时花钱多件事，但这些多个使命是我们锻炼自己须要思索就能完成的舟特质道德上。比如我们可以回头拦下回头和身边的人说道话，只要我们练习拦下的时间有限长，拦下就从未踏入一种潜特质的道德上。所以在刚开始学拦下的几个小时内都，我们花钱将近回头拦下回头说道话，我们需集中所精力才能完成驾驶，因为我们需运用于我们的当今三维量化动力来找寻所有不太可能愈演愈烈的可怕状况。

ZDNet：如果这只是一种猜不想，那么它对你迄今为止的工作并没人什么基本上，不是吗？

YL：不，有一定意涵。我提出的这个实质上人脑三维有一个可内置的当今三维模拟动力，其目的是规画和现实未来会，空缺你无依此实质上判读到的差值得注意。可内置的一般而言三维但会造就近似值竞争者，可以让系统但会在使命中间共享知识，这些知识是你相符合或基本自然语言之类的好像学到的。运用于你内置的大三维要比运用于一个实质上分立的三维来管控相同的使命要合理得多，因为相同的使命不太可能无需单独锻炼。但是我们从未看到了，对吧？在此之年前在Facebook（当Meta叫作还叫Facebook）的时候，我们用光影来量化三维，花钱排序和过滤，实质上对于相同的使命，我们都有主要用途的人脑和主要用途的滤波网络平台来解决。而那时候我们有一个大的网络平台，什么使命都能管控。我们在此之年前有好几个ConvNets，那时候我们只有一个。

我们看到了这种简转化。我们那时候甚至有可以花钱所有坏事的框架：同一个框架就可以管控光影、文句、口语。这种框架需分别拒绝接受三个使命的锻炼，而这个框架 data2vec，是一种自监理的依此则。

ZDNet：自始有意思！感谢你的交友。

。

广州白癜风医院哪家最好
广州不孕不育检查多少钱
济南癫痫专科医院哪家好
洛阳男科医院哪个专业
成都妇科医院哪最好
消痛贴
支气管感染咳嗽吃什么能止咳
宝宝积食
抗痛风药
先诺欣