Apple Vision Pro로 로봇을 원격 제어하기: NVIDIA의 '인간-기계 통합은 어렵지 않다'

젠슨 황은 "다음 AI의 물결은 로봇이며, 가장 흥미로운 발전 중 하나는 휴머노이드 로봇이다."라고 말했습니다. 오늘, Project GR00T은 중요한 진전을 이뤘습니다.

어제 NVIDIA의 창립자 젠슨 황은 SIGGRAPH 2024 기조연설에서 그들의 범용 휴머노이드 로봇 모델인 "Project GR00T"에 대해 이야기했습니다. 이 모델은 일련의 기능 업데이트를 받았습니다.

텍사스 대학교 오스틴 캠퍼스의 조교수이자 NVIDIA의 선임 연구 과학자인 유크 주는 NVIDIA가 대규모 가정용 로봇 시뮬레이션 훈련 프레임워크인 RoboCasa와 MimicGen을 NVIDIA Omniverse 플랫폼과 Isaac 로봇 개발 플랫폼에 통합한 방법을 보여주는 비디오를 트윗했습니다.

이 비디오는 NVIDIA의 세 가지 컴퓨팅 플랫폼인 AI, Omniverse, Jetson Thor를 다루며, 이를 활용하여 개발자 워크플로우를 간소화하고 가속화하는 방법을 보여줍니다. 이러한 컴퓨팅 플랫폼의 결합된 기능을 통해 우리는 물리적 AI에 의해 구동되는 휴머노이드 로봇의 시대에 접어들 준비가 되어 있습니다.

하이라이트 중 하나는 개발자들이 Apple Vision Pro를 사용하여 휴머노이드 로봇을 원격으로 제어하여 작업을 수행할 수 있다는 것입니다.

한편, NVIDIA의 또 다른 선임 연구 과학자인 짐 팬은 Project GR00T의 업데이트가 흥미롭다고 말했습니다. NVIDIA는 로봇 데이터를 확장하기 위해 체계적인 접근 방식을 사용하여 로봇 공학 분야의 가장 도전적인 문제 중 일부를 해결하고 있습니다.

아이디어는 간단합니다: 인간은 실제 로봇에서 시연 데이터를 수집하고, NVIDIA는 이 데이터를 천 배 이상 시뮬레이션에서 확장합니다. GPU 가속 시뮬레이션을 통해 사람들은 이제 시간 소모적이고 노동 집약적이며 비용이 많이 드는 인간 데이터 수집 과정을 대체할 수 있는 계산 능력을 사용할 수 있습니다.

그는 얼마 전까지만 해도 원격 조작이 본질적으로 확장 불가능하다고 믿었다고 언급했습니다. 왜냐하면 원자 세계에서는 하루에 로봇당 24시간의 한계에 항상 제약을 받기 때문입니다. GR00T에서 사용되는 새로운 합성 데이터 파이프라인은 디지털 세계에서 이 제한을 깨뜨립니다.

NVIDIA의 최신 휴머노이드 로봇 발전에 대해 한 네티즌은 Apple Vision Pro가 가장 멋진 사용 사례를 찾았다고 댓글을 달았습니다.

NVIDIA가 다음 물결인 물리적 AI를 이끌기 시작합니다.

NVIDIA는 블로그 게시물에서 휴머노이드 로봇을 가속화하는 기술 과정을 자세히 설명했습니다. 전체 내용은 다음과 같습니다:

휴머노이드 로봇 개발을 가속화하기 위해 NVIDIA는 전 세계의 주요 로봇 제조업체, AI 모델 개발자 및 소프트웨어 제작자를 위해 일련의 서비스, 모델 및 컴퓨팅 플랫폼을 발표하여 그들이 차세대 휴머노이드 로봇을 개발, 훈련 및 구축할 수 있도록 합니다.

이 제품군에는 로봇 시뮬레이션 및 학습을 위한 새로운 NVIDIA NIM 마이크로서비스 및 프레임워크, 다단계 로봇 작업을 실행하기 위한 NVIDIA OSMO 오케스트레이션 서비스, AI 및 시뮬레이션을 지원하는 원격 작업 워크플로우가 포함되어 있어 개발자들이 최소한의 인간 시연 데이터로 로봇을 훈련할 수 있도록 합니다.

젠슨 황은 "다음 AI의 물결은 로봇이며, 가장 흥미로운 발전 중 하나는 휴머노이드 로봇이다. 우리는 전체 NVIDIA 로봇 스택을 발전시키고 있으며, 이를 전 세계의 휴머노이드 로봇 개발자와 기업에 개방하여 그들이 자신의 필요에 가장 적합한 플랫폼, 가속화된 라이브러리 및 AI 모델을 사용할 수 있도록 하고 있다."라고 말했습니다.

NVIDIA NIM 및 OSMO로 개발 가속화.

NIM 마이크로서비스는 NVIDIA 추론 소프트웨어로 구동되는 사전 구축된 컨테이너를 제공하여 배포 시간을 몇 주에서 몇 분으로 단축합니다.

두 개의 새로운 AI 마이크로서비스는 로봇 전문가들이 NVIDIA Isaac Sim에서 물리적 AI 시뮬레이션 워크플로우 생성을 향상시킬 수 있도록 합니다.

MimicGen NIM 마이크로서비스는 Apple Vision Pro와 같은 공간 컴퓨팅 장치에서 원격으로 기록된 데이터로부터 합성 동작 데이터를 생성합니다. Robocasa NIM 마이크로서비스는 OpenUSD에서 로봇 작업 및 시뮬레이션 환경을 생성합니다.

클라우드 기반 관리 서비스 NVIDIA OSMO가 이제 사용 가능하여 사용자가 온프레미스 또는 클라우드의 분산 컴퓨팅 리소스를 통해 복잡한 로봇 개발 워크플로우를 조정하고 확장할 수 있도록 합니다. OSMO는 로봇 훈련 및 시뮬레이션 워크플로우를 상당히 간소화하여 배포 및 개발 주기를 몇 개월에서 일주일 이내로 단축합니다.

휴머노이드 로봇 개발자를 위한 고급 데이터 캡처 워크플로우 제공.

휴머노이드 로봇의 기초 모델 훈련에는 방대한 양의 데이터가 필요합니다. 인간 시연 데이터를 얻는 방법 중 하나는 원격 작업을 통해 이루어지지만, 이 방법은 점점 더 비싸고 시간이 많이 소요되고 있습니다.

NVIDIA AI 및 Omniverse 원격 작업 참조 워크플로우를 SIGGRAPH 컴퓨터 그래픽스 회의에서 선보임으로써 연구자들과 AI 개발자들은 최소한의 원격으로 캡처된 인간 시연에서 대량의 합성 동작 및 인식 데이터를 생성할 수 있습니다.

먼저, 개발자는 Apple Vision Pro를 사용하여 원격 시연의 소량을 캡처합니다. 그런 다음 NVIDIA Isaac Sim에서 녹화를 시뮬레이션하고 MimicGen NIM 마이크로서비스를 사용하여 녹화에서 합성 데이터 세트를 생성합니다.

개발자는 실제 데이터와 합성 데이터를 모두 사용하여 Project GR00T 휴머노이드 로봇 기초 모델을 훈련시켜 상당한 시간과 비용을 절감합니다. 그런 다음 Isaac Lab, 로봇 학습 프레임워크에서 Robocasa NIM 마이크로서비스를 사용하여 로봇 모델을 재훈련하기 위한 경험을 생성합니다. 워크플로우 전반에 걸쳐 NVIDIA OSMO는 서로 다른 리소스에 컴퓨팅 작업을 원활하게 할당하여 개발자의 관리 업무를 수 주 단축합니다.

NVIDIA 휴머노이드 로봇 개발자 기술에 대한 접근 확대.

NVIDIA는 휴머노이드 로봇 개발을 간소화하기 위해 세 가지 컴퓨팅 플랫폼을 제공합니다: 모델 훈련을 위한 NVIDIA AI 슈퍼컴퓨터; 로봇이 시뮬레이션된 세계에서 기술을 학습하고 정제할 수 있는 NVIDIA Isaac Sim(Omniverse 기반); 모델을 실행하기 위한 NVIDIA Jetson Thor 휴머노이드 로봇 컴퓨터. 개발자는 특정 필요에 따라 이 플랫폼의 전체 또는 일부에 접근하고 사용할 수 있습니다.

NVIDIA 새로운 휴머노이드 로봇 개발자 프로그램을 통해 개발자는 NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor 및 Project GR00T 일반 휴머노이드 로봇 기초 모델의 최신 버전에 조기 접근할 수 있습니다.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra 및 Skild AI는 조기 접근 프로그램에 참여하는 첫 번째 기업 중 일부입니다.

개발자는 이제 NVIDIA OSMO 및 Isaac Lab에 접근하고 곧 NVIDIA NIM 마이크로서비스에 접근하기 위해 NVIDIA 휴머노이드 로봇 개발자 프로그램에 가입할 수 있습니다.

블로그 링크: https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

최신 AI 정보를 얻으려면 WriteGo를 팔로우하세요