Robotok Távvezérlése az Apple Vision Pro-val, NVIDIA: 'Az Ember-Gép Integráció Nem Nehéz'

Jensen Huang azt mondta: "A következő AI hullám a robotoké, és az egyik legizgalmasabb fejlesztés a humanoid robotok." Ma a Project GR00T fontos előrelépést tett.

Tegnap az NVIDIA alapítója, Jensen Huang, a SIGGRAPH 2024-es főelőadásán beszélt általános célú humanoid robot modelljéről, a "Project GR00T"-ról. A modell egy sor funkcionális frissítést kapott.

Yuke Zhu, a Texas-i Egyetem egyik adjunktusa és az NVIDIA vezető kutatója, tweetelt egy videót, amely bemutatja, hogyan integrálta az NVIDIA a RoboCasa és MimicGen nagyméretű háztartási robot szimulációs képzési keretrendszereket az NVIDIA Omniverse platformba és az Isaac robot fejlesztési platformba.

A videó az NVIDIA három számítástechnikai platformját fedi le - AI, Omniverse és Jetson Thor - kihasználva ezeket a fejlesztők munkafolyamataik egyszerűsítésére és felgyorsítására. E platformok kombinált képességeivel beléphetünk a fizikai AI által vezérelt humanoid robotok korába.

A legfontosabbak között szerepel, hogy a fejlesztők az Apple Vision Pro-t használva távolról irányíthatják a humanoid robotokat feladatok végrehajtására.

Közben az NVIDIA másik vezető kutatója, Jim Fan, kijelentette, hogy a Project GR00T frissítései izgalmasak. Az NVIDIA rendszerszemléletet alkalmaz a robotadatok skálázására, megoldva a robotika területén felmerülő legnagyobb kihívásokat.

Az ötlet egyszerű: az emberek bemutató adatokat gyűjtenek valós robotokon, az NVIDIA pedig ezt az adatot ezerszeresére vagy annál is többre skálázza a szimulációkban. A GPU-gyorsított szimulációk révén az emberek most a számítási teljesítményt felhasználhatják az időigényes, munkaigényes és költséges emberi adatgyűjtési folyamatok helyettesítésére.

Megemlítette, hogy nemrégiben úgy vélte, hogy a távoli irányítás alapvetően nem skálázható, mivel az atom világában mindig korlátozva vagyunk a napi 24 órás robotonkénti határral. A GR00T-ban használt új szintetikus adatcső megszünteti ezt a korlátot a digitális világban.

Az NVIDIA legújabb fejlesztéseivel kapcsolatban a humanoid robotikában egy netező megjegyezte, hogy az Apple Vision Pro megtalálta legmenőbb felhasználási területét.

Az NVIDIA elkezdi vezetni a következő hullámot: fizikai AI.

Az NVIDIA a humanoid robotok felgyorsításának technikai folyamatát is részletezte egy blogbejegyzésében. Íme a teljes tartalom:

A humanoid robotok globális fejlesztésének felgyorsítása érdekében az NVIDIA bejelentett egy sor szolgáltatást, modellt és számítástechnikai platformot a vezető robotgyártók, AI modell fejlesztők és szoftvergyártók számára világszerte, lehetővé téve számukra a következő generációs humanoid robotok fejlesztését, betanítását és építését.

Ez a csomag tartalmazza az új NVIDIA NIM mikroszolgáltatásokat és keretrendszereket a robot szimulációhoz és tanuláshoz, az NVIDIA OSMO orchestration szolgáltatást több szakaszos robot munkafolyamatok futtatásához, és a távoli működési munkafolyamatot, amely támogatja az AI-t és a szimulációt, lehetővé téve a fejlesztők számára, hogy a robotokat minimális emberi bemutató adatokkal képezzék.

Jensen Huang kijelentette: "A következő AI hullám a robotoké, és az egyik legizgalmasabb fejlesztés a humanoid robotok. Fejlesztjük az egész NVIDIA robot stack-et, megnyitva azt a humanoid robot fejlesztők és cégek számára világszerte, lehetővé téve számukra, hogy a platformokat, felgyorsított könyvtárakat és AI modelleket használják, amelyek a legjobban megfelelnek igényeiknek."

A fejlesztés felgyorsítása az NVIDIA NIM és OSMO segítségével.

A NIM mikroszolgáltatások előre elkészített konténereket kínálnak, amelyeket az NVIDIA inferenciás szoftvere támogat, csökkentve a telepítési időt hetekből percekre.

Két új AI mikroszolgáltatás lehetővé teszi a robotikai szakértők számára a fizikai AI szimulációs munkafolyamatok generálásának fokozását az NVIDIA Isaac Sim-ben.

A MimicGen NIM mikroszolgáltatás szintetikus mozgási adatokat generál a távolról rögzített adatokból, amelyeket térbeli számítástechnikai eszközök, például az Apple Vision Pro használnak. A Robocasa NIM mikroszolgáltatás robotfeladatokat és szimulációs környezeteket generál az OpenUSD-ben.

A felhőalapú, kezelhető NVIDIA OSMO szolgáltatás most elérhető, lehetővé téve a felhasználók számára, hogy koordinálják és skálázzák a bonyolult robot fejlesztési munkafolyamatokat elosztott számítási erőforrások között, akár helyben, akár a felhőben. Az OSMO jelentősen egyszerűsíti a robot képzését és szimulációs munkafolyamatait, csökkentve a telepítési és fejlesztési ciklusokat hónapokról egy hét alá.

Fejlett adatgyűjtési munkafolyamatok biztosítása a humanoid robot fejlesztők számára.

A humanoid robotok mögött álló alapmodellek betanítása hatalmas mennyiségű adatot igényel. Az emberi bemutató adatok megszerzésének egyik módja a távoli működés, de ez a módszer egyre költségesebbé és időigényesebbé válik.

Az NVIDIA AI és Omniverse távoli működési referencia munkafolyamatának bemutatásával a SIGGRAPH számítógépes grafikai konferencián a kutatók és AI fejlesztők nagy mennyiségű szintetikus mozgási és érzékelési adatot generálhatnak minimális távolról rögzített emberi bemutatókból.

Először a fejlesztők egy kis mennyiségű távoli bemutatót rögzítenek az Apple Vision Pro-val. Ezután a felvételeket az NVIDIA Isaac Sim-ben szimulálják, és a MimicGen NIM mikroszolgáltatást használják a szintetikus adathalmazonak generálására a felvételekből.

A fejlesztők valós és szintetikus adatokat használnak a Project GR00T humanoid robot alapmodelljének betanításához, jelentős időt megtakarítva és csökkentve a költségeket. Ezután az Isaac Lab-ban, egy robot tanulási keretrendszerben a Robocasa NIM mikroszolgáltatást használják a robotmodell újratanításához szükséges tapasztalatok generálásához. A munkafolyamat során az NVIDIA OSMO zökkenőmentesen osztja ki a számítási feladatokat különböző erőforrások között, csökkentve a fejlesztők kezelési munkaterhét hetekkel.

A hozzáférés bővítése az NVIDIA humanoid robot fejlesztő technológiáihoz.

Az NVIDIA három számítástechnikai platformot kínál a humanoid robotok fejlesztésének egyszerűsítésére: az NVIDIA AI szuperszámítógép a modellek betanításához; az NVIDIA Isaac Sim, amely az Omniverse-re épül, hogy a robotok tanulhassanak és finomíthassák készségeiket egy szimulált világban; és az NVIDIA Jetson Thor humanoid robot számítógép a modellek futtatásához. A fejlesztők hozzáférhetnek és használhatják e platformok bármelyikét vagy a teljes csomagot a specifikus igényeik szerint.

Az új NVIDIA Humanoid Robot Developer Program keretében a fejlesztők korai hozzáférést nyerhetnek az új termékekhez és az NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor és a Project GR00T általános humanoid robot alapmodell legfrissebb verzióihoz.

A 1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra és Skild AI az első cégek között szerepel, amelyek csatlakoztak a korai hozzáférési programhoz.

A fejlesztők most csatlakozhatnak az NVIDIA Humanoid Robot Developer Programhoz, hogy hozzáférjenek az NVIDIA OSMO-hoz és az Isaac Lab-hoz, és hamarosan hozzáférést nyernek az NVIDIA NIM mikroszolgáltatásokhoz.

Blog link: https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

Kövesse WriteGo a legfrissebb AI információkért