通过Apple Vision Pro远程控制机器人，NVIDIA：‘人机融合并不困难’

黄仁勋表示：“下一波AI是机器人，而其中最令人兴奋的发展之一就是人形机器人。”今天，Project GR00T向前迈出了重要一步。

昨天，NVIDIA创始人黄仁勋在SIGGRAPH 2024的主题演讲中谈到了他们的通用人形机器人模型“Project GR00T”，该模型已获得一系列功能更新。

德克萨斯大学奥斯汀分校的助理教授、NVIDIA高级研究科学家朱宇克，在推特上发布了一段视频，展示了NVIDIA如何将大规模家庭机器人仿真训练框架RoboCasa和MimicGen整合到NVIDIA Omniverse平台和Isaac机器人开发平台中。

该视频涵盖了NVIDIA的三个计算平台——AI、Omniverse和Jetson Thor，利用这些平台简化和加速开发者的工作流程。通过这些计算平台的综合能力，我们即将进入一个由物理AI驱动的人形机器人时代。

亮点之一是开发者可以使用Apple Vision Pro远程控制人形机器人执行任务。

与此同时，NVIDIA的另一位高级研究科学家Jim Fan表示，Project GR00T的更新令人兴奋。NVIDIA采用系统化的方法来扩展机器人数据，解决机器人领域的一些最具挑战性的问题。

这个想法很简单：人类在真实机器人上收集演示数据，而NVIDIA在仿真中将这些数据扩展千倍以上。通过GPU加速的仿真，人们现在可以利用计算能力来替代耗时、劳动密集和昂贵的人类数据收集过程。

他提到，不久前，他认为远程操作在根本上是不可扩展的，因为在原子世界中，我们始终受到每天每个机器人24小时的限制。GR00T中使用的新合成数据管道打破了这一限制。

关于NVIDIA在人形机器人领域的最新进展，一位网友评论道，Apple Vision Pro找到了它最酷的应用案例。

NVIDIA开始引领下一波：物理AI。

NVIDIA还在一篇博客文章中详细说明了加速人形机器人的技术过程。以下是完整内容：

为了加速全球人形机器人的发展，NVIDIA宣布了一套服务、模型和计算平台，面向全球领先的机器人制造商、AI模型开发者和软件制造商，使他们能够开发、训练和构建下一代人形机器人。

这一套服务包括新的NVIDIA NIM微服务和机器人仿真与学习框架，NVIDIA OSMO编排服务用于运行多阶段机器人工作负载，以及支持AI和仿真的远程操作工作流程，使开发者能够以最少的人类演示数据训练机器人。

黄仁勋表示：“下一波AI是机器人，而其中最令人兴奋的发展之一就是人形机器人。我们正在推进整个NVIDIA机器人技术栈，向全球的人形机器人开发者和公司开放，使他们能够使用最符合其需求的平台、加速库和AI模型。”

通过NVIDIA NIM和OSMO加速开发。

NIM微服务提供由NVIDIA推理软件驱动的预构建容器，将部署时间从几周减少到几分钟。

两个新的AI微服务将允许机器人专家增强NVIDIA Isaac Sim中的物理AI仿真工作流程的生成。

MimicGen NIM微服务从Apple Vision Pro等空间计算设备远程录制的数据中生成合成运动数据。Robocasa NIM微服务在OpenUSD中生成机器人任务和仿真环境。

现在可用的云原生托管服务NVIDIA OSMO，允许用户协调和扩展复杂的机器人开发工作流程，跨分布式计算资源，无论是本地还是云端。OSMO显著简化了机器人训练和仿真工作流程，将部署和开发周期从几个月缩短到不足一周。

为人形机器人开发者提供先进的数据捕获工作流程。

训练人形机器人背后的基础模型需要大量数据。获取人类演示数据的一种方式是通过远程操作，但这种方法变得越来越昂贵且耗时。

通过在SIGGRAPH计算机图形会议上展示NVIDIA AI和Omniverse远程操作参考工作流程，研究人员和AI开发者可以从最少量的远程捕获人类演示中生成大量合成运动和感知数据。

首先，开发者使用Apple Vision Pro捕获少量远程演示。然后，他们在NVIDIA Isaac Sim中模拟录音，并使用MimicGen NIM微服务从录音中生成合成数据集。

开发者使用真实数据和合成数据来训练Project GR00T人形机器人基础模型，节省了大量时间并降低了成本。然后，他们在Isaac Lab（一个机器人学习框架）中使用Robocasa NIM微服务生成重训练机器人模型的经验。在整个工作流程中，NVIDIA OSMO无缝分配计算任务到不同的资源，减少了开发者的管理工作负担，缩短了几周的时间。

扩大对NVIDIA人形机器人开发者技术的访问。

NVIDIA提供三个计算平台，以简化人形机器人开发：NVIDIA AI超级计算机用于训练模型；基于Omniverse的NVIDIA Isaac Sim，使机器人能够在仿真世界中学习和精炼技能；以及用于运行模型的NVIDIA Jetson Thor人形机器人计算机。开发者可以根据他们的具体需求访问和使用这些平台的全部或部分。

通过新的NVIDIA人形机器人开发者计划，开发者可以提前访问新产品和最新版本的NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor和Project GR00T通用人形机器人基础模型。

1x、波士顿动力、字节跳动、Field AI、Figure、Fourier、Galbot、LimX Dynamics、Mentee、Neura Robotics、RobotEra和Skild AI是首批加入早期访问计划的公司。

开发者现在可以加入NVIDIA人形机器人开发者计划，以访问NVIDIA OSMO和Isaac Lab，并很快获得NVIDIA NIM微服务的访问权限。

博客链接：https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

关注 WriteGo 获取最新的AI信息