与生成模型相比，为何机器人研究还在用几年前的老法则？

长远来看，大体概念生产能力和良好的体系结构是所有这些进步的为基础。

相众所周知，上由此可知展示的是机械人行业众所周知深入研究的现状。现以前很多机械人深入研究职员仍在完形同的是小大体概念体能训练，并且还无法用过 Vision Transformer！

对于专注机械人深入研究的人来说，他们都愿意机械人能过分广为的应用在大多人当今中亦会，并且发挥过分大的作用。在作用做大体概念行业，深入研究者陷于的弊端相众所周知较多于，而在机械人深入研究行业，平常察觉到机械人协同作战难、噪声资料等弊端，这些专注作用做大体概念的深入研究者都不亦会察觉到。

在此之后我们从三个相当程度不同的维度众所周知作用做大体概念和机械人高效率，这三个方面均限于优立体化、指标和表述需要。

优立体化

首先让我们看一个简单的作用做大体概念：PixelRNN。

从第一个RGB的蓝色走廊开始(蓝色走廊的客体机率是已知的)，大体概念得知 canvas（顶行）它要描画的RGB。canvas 将只不过按照操作描画，因此它将RGB绝对值复制到 canvas 上，然后将 canvas 读回大体概念中亦会，以计算下一个走廊即绿色走廊。然后将 R、G canvas 上的绝对值一个系统给 RNN，依此类举，就此作用做 RGBRGBRGB… 氨基酸。

在理论上的影像作用做勤务中亦会，可以适用 diffusion 或 transformer。但为了简单起见，我们均适用前向执行者的 RNN。

从前让我们将一般掌控弊端转换为 PixelRNN。与作用做影像相当程度不同的是，我们要作用做 MDP(马尔可夫决策步骤)：精神状态、节奏和加分的氨基酸。我们愿意作用做 MDP，这个 MDP 完全有所不同于完形同某些勤务的终端体（如机械人）。这内都我们也是从客体方法论开始，大体概念对强立体化研习 (RL) 生态环境的初始精神状态完形同频域。这是大体概念的第一个匹配，RNN 对第一个RGB (A) 完形同频域，canvas 只不过按照操作的要求作用做 A。但是，与作用做影像相当程度不同的是，canvas 心内都将以前的 RNN 编码器离开，从前的系统设计是在此之后的两个RGB（R，S）由理论上生态环境决定：即它接深受节奏和所有以前的精神状态，并以某种手段计算出来 R，S。

我们可以把 RL 生态环境认作描画对象（painter object），它执行者 RNN 节奏，而不是直接在 canvas 上描画自已要的内容可，它亦会适用也就是说复杂的近组描画RGB。

如果我们将其与前面描画影像的 PixelRNN 完形同对比，这个勤务显然极富面对，因为当你自已法对自已要的影像完形同频域，亦会有一个黑盒，这个黑盒亦会对要描画内容可引发吃力。

描画步骤中亦会亦会碰到一个典小型化型的弊端：如果生态环境描画了一个非预想内的精神状态，就亦会有弊端，即如何下达纠正操作，以便可以离开到我们自已法描画的影像。此外，与影像作用做相当程度不同，我们大体上需要按次序作用做 MDP 影像，并且不可举演完形同编辑，这也造就了优立体化面对。

如果自已忽略 PPO 这样的 RL 工具是如何众所周知的，我们某种程度在非掌控生态环境下对其完形同可视测试者，将其运用影像作用做高效率，并将其与许多现代作用做大体概念完形同众所周知。Hinton 和 Nair 在 2006 年的社会活动中亦会，他们适用 springs 系统设计对 MNIST 近字小分子完形同资料分析。DeepMind 适用 RL 工具复现这种影像小分子的部分社会活动。

影像作用做是深入研究优立体化和掌控的很好的可视，因为它显然重申了在为近众多个相当程度不同一幕中亦会完形同众所周知的必要适度。

同类型如 Decision Transformer、Trajectory Transformer 以及 Multi-Game Decision Transformer 表明，upside-down RL 高效率在众所周知方面自已到得很好。那么 upside-down RL 高效率与在线（PPO）或其他服务器 RL 启发式（CQL）相比如何？毕竟要完形同指标也很简便，我们可以指标密度（行业专家只不过辨别的似然大体概念）并可验证也就是说的 RL 启发式并不需要确实可以在测量测试者似然度时众所周知到大量影像。

指标

如果自已断定机械人在某些勤务上的就此率，我们可以适用二项分布。

二项分布的正态分布为 p(1−p)/N，p 为样本均绝对值（估计的就此率）; N 为检验次近。在最坏的意味著，如果 p=50%（较大正态分布），那么能以致于 3000 个样本才能使国际标准差小于 1%！

如果我们从计算出来机视觉视觉效果的尺度来看，0.1-1% 范围内的提升是前进的举足轻重驱动力。ImageNet 要能辨识弊端，自 2012 年以来拿下了很大进步，2012 到 2014 年的错误率减缓了 3%，然后每年左右减缓 1%，有很多人在深入研究如何使这项社会活动发挥作用。也许今年 (2022 年) 在可视提升上无论如何超过不利因素，但在 2012-2018 年的这 7 年间，深入研究职员拿下了很多的发展和形同果。

在作用做资料分析的其他行业，深入研究职员以前在减缓语种大体概念的复杂适度，以及作用做大体概念在影像上的每维 bit 近(bits-per-dimension)。

上头大抵众所周知一下区别于可视的指标运动速度。2012 年 ImageNet 要能辨识测试者集中亦会有 150000 个影像。结论每个影像的举理小说运动速度为 10ms，并且每次是月份指标每个影像，这样指标每个测试者示例左右能以致于 25 分钟(大体上指标运动速度要快于，因为可以完形同的新产品处理手段)。但这内都结论我们只有单台机械人完形同指标系统设计，并且需要月份处理手段影像。

因为有海量影像，所以我们可以获取国际标准误差估计在 0.1% 之内。事实上我们不可以致于 0.1% 的国际标准误差才能在该行业拿下的发展，或许 1% 就以致于了。

在指标复杂适度方面，后端到后端的效率也是举足轻重的一块。上头我们来是不是怎样完形同信息处理在三维勤务中亦会的后端到后端效率指标。Habitat Sim 是现以前运动速度最快的大体功能之一，其设计目标是较大限度地减多于信息处理举理小说和生态环境步进之间的资料量。大体功能可以每秒 10000 step，但由于信息处理的正向发送至左右为 10ms，该不利因素引发每个 episode 的指标时长为 2 秒（结论典小型化型的 navigation episode 为 200 step）。这比开始运行显然的机械人快于，但比指标单个计算出来机视觉视觉效果样本慢得多。

如果要指标后端到后端的机械人系统设计，其丰富适度水平与我们适用 ImageNet 所自已到的相似，大多的指标能以致于 1 周时长来处理手段近十万个指标一幕。这并不只不过是必要的众所周知，因为每个 episode 大体上有 200 个差不多的举理小说步骤，但我们不可将单个 episode 内的影像认作独立的可验证集。如果无法任何其它 episode 内积，我们只真的勤务确实就此，因此 episode 内的所有举理小说只对几何级近估计的单个样本有作出贡献。我们需要根据近万个 episode 而不是照片来估计就此率。当然，我们可以自已法适用其他方针指标工具，但这些启发式还过分精确，无法拆开即用。

在此之后以前，我们对现实机械人完形同现场指标。在大多人当今中亦会每个 episode 左右能以致于 30 秒的时长完形同指标，如果一个由 10 名系统设计员都是由的团队完形同指标，每个系统设计员每天可以完形同 300 个 episode，那么每天可以完形同左右 3000 次指标。

如果指标大体概念能以致于一整天的时长，这亦会对高效率引发很大的限制，因为这样每天只能自已法一种期望。所以我们不可再继续深入研究那些将效率逐步提高 0.1% 的小期望，或者非常极后端的期望。我们需要自已自行在效率上实现大更有。虽然这看起来差强人意，但在实践中亦会难以算是。

当考虑完形同机械人研习给定步骤时，很容易让指标检验的近量显然高达你的体能训练资料！几个月的除此以外指标显现出了左右近万个 episode，这无论如何高达了大多近机械人尺度研习展示资料集。

几年前，深入研究职员仍在消除相似让机械设备肩后门的弊端，但这些方针不可完形同很好的众所周知。深入研究职员有时候按照 10 个 episode 差不多的次序完形同指标。但 10-50 次检验大体上没法意味着总和鲁棒适度。为了拿下好的视觉效果，理论上或许要完形同高达 1000 次检验以完形同就此指标。

但当实质性引入检验时亦会暴发什么呢？假如我们就此能以致于体能训练不具 O(100,000)种使用暴力、尤为区别于的机械人系统设计，我们能以致于多多于次检验来指标这样的区别于系统设计？这内都的指标生产形同本得越发尤为高昂。

这内都再继续重申一次：资料是所需的，指标存在不利因素！

如何加速指标？

上头解说关于如何加快区别于机械人系统设计指标的期望。

工具之一是分别对众所周知弊端和机械人完形同深入研究。毕竟尺度研习社区无论如何算是了这一点。大多近计算出来机视觉视觉效果和作用做资料分析深入研究职员并不直接在理论上机械人上测试者他们的期望，而是期盼一旦他们的大体概念获得强悍的众所周知需要，那么它将快速地迁至到机械人上。在计算出来机视觉视觉效果行业开发计划的 ResNets 极大地简立体化了许多机械人视觉视觉效果运动资料分析并不需要。自已象一下，如果一名深入研究职员每次自已自已法相当程度不同的信息处理体系结构时都需要在现实的机械人上测试者他们的期望！另一个就此案例是 CLIPort，它将影像 - 书写大体概念强悍的多模式众所周知需要与用做抓取规划的大体几何举理小说解耦。

我们可以实质性将 RL 的高效率可执行分为「三维玩偶生态环境」、「三维机械人」和「现实机械人」三层(按指标重复适度的增高次序排列)。

在拜楼的中上层，是一般的可视，比如 Kaggle 竞赛的可视。往上走，是一组「玩偶掌控弊端」，以「裸机」的手段深入研究弊端，只有大体功能和信息处理开始运行，所有与现实当今机械人关的的字符，如电源管理等都不存在。沿着拜楼再继续顶后端走，就来到过分特定行业，与你企由此可知消除的弊端过分关的。例如「三维机械人」和「现实机械人」或许用做有所不同的勤务，并器重有所不同的中上层机械人字符。三维玩偶生态环境可用做深入研究一般启发式，但与就此机械人行业重叠的较多于。在「指标拜楼」的下部，是我们企由此可知消除的现实机械人勤务。直接给定这个步骤非常慢，因此我们都愿意在这内都花费尽或许多于的时长。我们愿意，在较低复杂性上体能训练和指标的为基础大体概念需要帮助明了哪些期望有效，而不必在顶层完形同而会指标。

同样，该行业无论如何以这种解荷花的手段运作。大多近有兴趣为机械人自已到出作出贡献的人不一定亦会操控机械人。他们或许亦会体能训练就此或许对机械人简便的视觉视觉效果声称和体系结构。当然，去耦合的缺点是潜意识可视的小型化并不心内都完全有所不同于机械人需要的小型化。例如将要小型化文法分割或视频分类准确适度的 mAP 指标，甚至是无损压缩可视(理论上就此某种程度相当程度作出贡献)，我们不真的声称要能的小型化在大体上如何与中下游勤务的小型化显现出映射。所以就此需要在后端到后端系统设计上完形同测试者，以明了显然的不利因素在哪内都。

Google 曾发表过一篇很酷的科学论文《Challenging Common Assumptions in Unsupervised Learning of Disentangled Representations》，他们证明了许多只不过无委派的声称研习工具不亦会在中下游勤务中亦会造就很大的效率小型化，除非我们将要执行者指标和并不需要大体概念适用的是自己关心的就此中下游国际标准。

科学论文接收者：

另一种减缓指标生产形同本的工具是意味着资料采集和指标步骤赞同。我们可以同时采集指标资料和行业专家系统设计资料。我们可以通过一定的干涉来采集 HG-dagger 资料，这样就可以采集简便的体能训练资料。同时，每个 episode 的平均干涉次近大抵可以得知我们该方针确实以致于好。我们还可以辨别标量指标，而不是几何级近指标，因为这些指标的每个 episode 显现出的个人信息比一般来讲就此 / 失利过分多。

适用 RL 启发式完形同先决条件资料采集是将指标和资料采集结合的另一种工具，但该工具能以致于我们对 episode 完形同人工评分，或者适用精心制作的加分近组。所有这些工具都能以致于在大多人当今中亦会协同作战大量机械人，这无论如何亦会陷入在大多人当今中亦会急剧给定的被弃。

让指标启发式较快的工具是小型化 sim-to-real 的迁至启发式。我们可以适配三维许多机械人，这样就不亦会再继续深受左右束。Mohi Khansari、Daniel Ho 和 Yuqing Du 等人开发计划了一种被叫做「勤务赞同适度损失(Task Consistency Loss)」的高效率，该高效率将来自 sim 和 real 的声称给定立体化作不变量，因此方针在 sim 和 real 下的使用暴力某种程度相似的。当我们将 sim 中亦会指标的方针迁至到 real 时，我们愿意意味着 sim 中亦会的极低效率指标也确实完全有所不同于 real 中亦会的极低效率指标。sim2real 贫富差距得越小，就得越可信任三维实验中亦会的指标。

表述适度

让我们是不是许多现代作用做大体概念可以编码器多多于位。每走廊 8 位的 64x64x3 RGB 影像为 36864bits。语种大体概念可以作用做也就是说近量的 tokens，但如果我们将编码器窗口互换为 2048 个 tokens，每个 token 有 17bits，总计 36793bits。因此，影像和书写作用做大体概念都可以小分子左右 37kbits。随着大体概念的艺术性得越来得越强，人们对这些大体概念的潜意识亦会暴发质的更有。甚至有人开始显然语种大体概念是部分有意识的，因为它们的表述需要太强悍！

相众所周知，当下机械人的表述适度如何？这内都我们设计一个简立体化大多人当今的生态环境，桌面上有 6 个饰品，机械人的勤务是需要将一个饰品移动到另一个饰品的下部或装载某几个饰品，总计 100 个勤务。log2(100)左右是 7 个 bits，也就是说“也就是说当今的精神状态，机械人需要将原子移动到 N 个精神状态中亦会的一个，其中亦会 N 可以用 7bits 来揭示”。雅虎的 SayCan 启发式可以用一个信息处理完形同左右 550 个系统设计勤务，这在理论上的机械人尺度研习国际标准中亦会是相当更让人眼中深刻眼中的，总计只有左右 10 个 bits。

这种众所周知并不是完美必要的，因为个人信息的并不一定在两者之间是相当程度不同的，这内都只是提供一个举例的单纯，当人们指标一组勤务与另一组勤务的相众所周知复杂适度时，能以致于弄明白什么是举足轻重的。

我们察觉到的面对之一是机械人的功能无论如何有限。如果你看一下 Ego4D 资料集，很多勤务都能以致于双腿系统设计，但从前大多近机械人无论如何适用带轮支架、单肩的移动机械设备手。他们无法移动不可去任何偏远地区，显然我们保有的只是「机械设备肩」，这也就是说了很多无聊的勤务。

我们能以致于深入研究极富表述适度的机械人，但是机械人研习启发式的艺术性是深受显卡限制的。上头是机械人后门、打包行李箱、拉上后背、给植物浇水以及翻转鞋子尾端的画面。随着机械人显卡得越来得越接近现实的人类所，在以人类所为中亦会心的当今内都，你可以自已到的心内都的近量呈指近级放缓。

随着机械人得越发极富表述适度，我们不均能以致于因特网生产能力的体能训练资料，还能以致于因特网生产能力的指标步骤。如果你看一下大小型化型语种大体概念 (LLMs) 的的发展，从前有很多科学论文深入研究调优以及除此以外大体概念可以自已到什么和不可自已到什么。

比如，BigBench 的可视程式码了一系列勤务，并询问我们可以从这些大体概念中亦会获得什么。OpenAI 面向因特网服务器指标他们的 DALLE-2 和 GPT-3 大体概念。他们的建筑工程和新产品团队可以从服务器直接参与的人工终端检验中亦会研习，因为任何一位深入研究职员都难以借助 LLMs 大体概念的内容。

先前向读者提个弊端，机械人行业中亦会与 GPT-3 或 DALLE-2 API formula_的高效率是什么？通过这个formula_高效率，因特网社区的深入研究职员可以对机械人深入研究完形同质疑、并明了它到底可以自已到什么吗？

先前用栏位总结优立体化、指标和表述适度之间的众所周知：

原文链接：

。

上海妇科专科医院哪里好
南京男科医院预约挂号
多维元素片可以增强抵抗力吗
北京甲状腺哪家医院最好
藿香正气口服液