Zdalne sterowanie robotami za pomocą Apple Vision Pro, NVIDIA: 'Integracja człowieka z maszyną nie jest trudna'

Jensen Huang powiedział: "Następną falą AI są roboty, a jednym z najbardziej ekscytujących rozwoju są roboty humanoidalne." Dziś Project GR00T poczynił ważny krok naprzód.

Wczoraj, założyciel NVIDIA, Jensen Huang, mówił o ich uniwersalnym modelu robota humanoidalnego, "Project GR00T", podczas swojego wystąpienia na SIGGRAPH 2024. Model otrzymał szereg aktualizacji funkcjonalnych.

Yuke Zhu, adiunkt na Uniwersytecie Teksańskim w Austin i starszy naukowiec badawczy w NVIDIA, opublikował wideo demonstrujące, jak NVIDIA zintegrowała duże symulacje robotów domowych RoboCasa i MimicGen z platformą NVIDIA Omniverse oraz platformą do rozwoju robotów Isaac.

Wideo obejmuje trzy platformy obliczeniowe NVIDIA — AI, Omniverse i Jetson Thor — wykorzystując je do uproszczenia i przyspieszenia pracy deweloperów. Dzięki połączonym możliwościom tych platform obliczeniowych jesteśmy gotowi wkroczyć w erę robotów humanoidalnych napędzanych fizyczną AI.

Jednym z najważniejszych punktów jest to, że deweloperzy mogą używać Apple Vision Pro do zdalnego sterowania robotami humanoidalnymi w celu wykonywania zadań.

Tymczasem inny starszy naukowiec badawczy w NVIDIA, Jim Fan, stwierdził, że aktualizacje Project GR00T są ekscytujące. NVIDIA stosuje systematyczne podejście do skalowania danych robotów, rozwiązując niektóre z najtrudniejszych problemów w dziedzinie robotyki.

Pomysł jest prosty: ludzie zbierają dane demonstracyjne na prawdziwych robotach, a NVIDIA skaluje te dane tysiąckrotnie lub więcej w symulacjach. Dzięki symulacjom przyspieszanym przez GPU, ludzie mogą teraz wykorzystać moc obliczeniową, aby zastąpić czasochłonny, pracochłonny i kosztowny proces zbierania danych przez ludzi.

Wspomniał, że niedawno wierzył, iż zdalne sterowanie jest z zasady nieskalowalne, ponieważ w świecie atomowym zawsze ogranicza nas limit 24 godzin na robota dziennie. Nowa syntetyczna pipeline danych używana w GR00T łamie to ograniczenie w świecie cyfrowym.

W odniesieniu do najnowszych osiągnięć NVIDIA w robotyce humanoidalnej, jeden z internautów skomentował, że Apple Vision Pro znalazł swoje najfajniejsze zastosowanie.

NVIDIA zaczyna przewodzić następnej fali: fizycznej AI.

NVIDIA szczegółowo opisała techniczny proces przyspieszania robotów humanoidalnych w poście na blogu. Oto pełna treść:

Aby przyspieszyć rozwój robotów humanoidalnych na całym świecie, NVIDIA ogłosiła zestaw usług, modeli i platform obliczeniowych dla wiodących producentów robotów, deweloperów modeli AI i producentów oprogramowania na całym świecie, umożliwiając im rozwijanie, trenowanie i budowanie następnej generacji robotów humanoidalnych.

Ten zestaw obejmuje nowe mikroserwisy i ramy NVIDIA NIM do symulacji robotów i uczenia się, usługę orkiestracyjną NVIDIA OSMO do uruchamiania wieloetapowych obciążeń robota oraz workflow zdalnego sterowania wspierającego AI i symulacje, umożliwiając deweloperom trenowanie robotów przy minimalnych danych demonstracyjnych od ludzi.

Jensen Huang stwierdził: "Następną falą AI są roboty, a jednym z najbardziej ekscytujących rozwoju są roboty humanoidalne. Rozwijamy cały stos robotów NVIDIA, otwierając go dla deweloperów robotów humanoidalnych i firm na całym świecie, umożliwiając im korzystanie z platform, przyspieszonych bibliotek i modeli AI, które najlepiej odpowiadają ich potrzebom."

Przyspieszanie rozwoju z NVIDIA NIM i OSMO.

Mikroserwisy NIM oferują wstępnie zbudowane kontenery zasilane oprogramowaniem inferencyjnym NVIDIA, skracając czas wdrożenia z tygodni do minut.

Dwa nowe mikroserwisy AI umożliwią ekspertom robotyki poprawę generacji fizycznych symulacji AI w NVIDIA Isaac Sim.

Mikroserwis MimicGen NIM generuje syntetyczne dane ruchu zdalnie zarejestrowanych danych z urządzeń obliczeniowych przestrzennych, takich jak Apple Vision Pro. Mikroserwis Robocasa NIM generuje zadania robotów i środowiska symulacyjne w OpenUSD.

Zarządzana usługa w chmurze NVIDIA OSMO jest teraz dostępna, umożliwiając użytkownikom koordynację i skalowanie skomplikowanych obciążeń robota w rozproszonych zasobach obliczeniowych, zarówno lokalnych, jak i w chmurze. OSMO znacznie upraszcza procesy szkolenia i symulacji robotów, skracając cykle wdrożenia i rozwoju z miesięcy do mniej niż tygodnia.

Zapewnienie zaawansowanych workflow przechwytywania danych dla deweloperów robotów humanoidalnych.

Szkolenie podstawowych modeli stojących za robotami humanoidalnymi wymaga ogromnych ilości danych. Jednym ze sposobów uzyskania danych demonstracyjnych od ludzi jest zdalne sterowanie, ale ta metoda staje się coraz droższa i czasochłonna.

Prezentując workflow referencyjne NVIDIA AI i Omniverse zdalnego sterowania na konferencji komputerowej SIGGRAPH, badacze i deweloperzy AI mogą generować ogromne ilości syntetycznych danych ruchu i percepcji z minimalnej ilości zdalnie zarejestrowanych demonstracji ludzkich.

Najpierw deweloperzy rejestrują małą ilość zdalnych demonstracji za pomocą Apple Vision Pro. Następnie symulują nagrania w NVIDIA Isaac Sim i używają mikroserwisu MimicGen NIM do generowania syntetycznych zbiorów danych z nagrań.

Deweloperzy używają zarówno danych rzeczywistych, jak i syntetycznych do trenowania podstawowego modelu robota humanoidalnego Project GR00T, oszczędzając znaczną ilość czasu i redukując koszty. Następnie używają mikroserwisu Robocasa NIM w Isaac Lab, frameworku do uczenia się robotów, aby generować doświadczenia do ponownego treningu modelu robota. W całym workflow, NVIDIA OSMO płynnie przydziela zadania obliczeniowe do różnych zasobów, redukując obciążenie zarządzania dla deweloperów o tygodnie.

Rozszerzanie dostępu do technologii deweloperów robotów humanoidalnych NVIDIA.

NVIDIA oferuje trzy platformy obliczeniowe, aby uprościć rozwój robotów humanoidalnych: superkomputer NVIDIA AI do trenowania modeli; NVIDIA Isaac Sim, zbudowany na Omniverse, dla robotów do nauki i doskonalenia umiejętności w symulowanym świecie; oraz komputer humanoidalny NVIDIA Jetson Thor do uruchamiania modeli. Deweloperzy mogą uzyskać dostęp i korzystać z całości lub części tych platform w zależności od ich specyficznych potrzeb.

Dzięki nowemu programowi dewelopera robotów humanoidalnych NVIDIA, deweloperzy mogą uzyskać wczesny dostęp do nowych produktów oraz najnowszych wersji NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor i podstawowego modelu robota humanoidalnego Project GR00T.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra i Skild AI są wśród pierwszych firm, które dołączyły do programu wczesnego dostępu.

Deweloperzy mogą teraz dołączyć do programu dewelopera robotów humanoidalnych NVIDIA, aby uzyskać dostęp do NVIDIA OSMO i Isaac Lab i wkrótce uzyskać dostęp do mikroserwisów NVIDIA NIM.

Link do bloga: https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

Śledź WriteGo, aby uzyskać najnowsze informacje o AI