Ovládejte roboty na dálku pomocí Apple Vision Pro, NVIDIA: 'Integrace člověka a stroje není obtížná'

Jensen Huang řekl: "Další vlna AI jsou roboti, a jedním z nejvzrušujícíjších vývojů jsou humanoidní roboti." Dnes Projekt GR00T učinil důležitý krok vpřed.

Včera zakladatel NVIDIA Jensen Huang hovořil o jejich modelu humanoidního robota "Projekt GR00T" během své hlavní řeči na SIGGRAPH 2024. Model obdržel řadu funkčních aktualizací.

Yuke Zhu, asistent profesor na University of Texas v Austinu a senior výzkumný vědec v NVIDIA, tweetoval video demonstrující, jak NVIDIA integrovala rámce pro simulaci domácích robotů RoboCasa a MimicGen do platformy NVIDIA Omniverse a platformy pro vývoj robotů Isaac.

Video pokrývá tři výpočetní platformy NVIDIA – AI, Omniverse a Jetson Thor – a využívá je k zjednodušení a urychlení pracovních postupů vývojářů. Díky kombinovaným schopnostem těchto výpočetních platforem jsme připraveni vstoupit do éry humanoidních robotů řízených fyzickou AI.

Mezi hlavními body je, že vývojáři mohou použít Apple Vision Pro k ovládání humanoidních robotů na dálku, aby vykonávali úkoly.

Mezitím další senior výzkumný vědec v NVIDIA, Jim Fan, uvedl, že aktualizace Projektu GR00T jsou vzrušující. NVIDIA používá systematický přístup k škálování dat robotů, čelí některým z největších výzev v oblasti robotiky.

Myšlenka je jednoduchá: lidé sbírají demonstrační data na skutečných robotech a NVIDIA tato data škáluje tisíckrát nebo více v simulacích. Díky simulacím akcelerovaným GPU mohou lidé nyní využívat výpočetní výkon k nahrazení časově náročného, pracného a nákladného procesu sběru dat od lidí.

Uvedl, že před nedávnem věřil, že dálkové ovládání je v zásadě neškálovatelné, protože v atomovém světě jsme vždy omezeni limitem 24 hodin na robota denně. Nový syntetický datový pipeline použitý v GR00T tento limit v digitálním světě překonává.

Pokud jde o nejnovější pokroky NVIDIA v humanoidní robotice, jeden uživatel internetu komentoval, že Apple Vision Pro našel svůj nejzajímavější případ použití.

NVIDIA začíná vést další vlnu: fyzická AI.

NVIDIA také podrobně popsala technický proces akcelerace humanoidních robotů v blogovém příspěvku. Zde je celý obsah:

Aby urychlila vývoj humanoidních robotů po celém světě, NVIDIA oznámila sadu služeb, modelů a výpočetních platforem pro přední výrobce robotů, vývojáře AI modelů a výrobce softwaru na celém světě, což jim umožňuje vyvíjet, trénovat a budovat další generaci humanoidních robotů.

Tato sada zahrnuje nové mikro služby a rámce NVIDIA NIM pro simulaci a učení robotů, službu orchestrace NVIDIA OSMO pro provozování vícestupňových robotických pracovních zátěží, a pracovní postup dálkového ovládání podporující AI a simulaci, což umožňuje vývojářům trénovat roboty s minimálním množstvím demonstračních dat od lidí.

Jensen Huang uvedl: "Další vlna AI jsou roboti, a jedním z nejvzrušujícíjších vývojů jsou humanoidní roboti. Pokročujeme celým robotickým stackem NVIDIA, otevíráme ho vývojářům humanoidních robotů a společnostem po celém světě, abychom jim umožnili používat platformy, akcelerované knihovny a AI modely, které nejlépe vyhovují jejich potřebám."

Zrychlení vývoje s NVIDIA NIM a OSMO.

Mikro služby NIM nabízejí předpřipravené kontejnery poháněné softwarem pro inference NVIDIA, což zkracuje dobu nasazení z týdnů na minuty.

Dvě nové AI mikro služby umožní odborníkům na robotiku zlepšit generaci simulací fyzické AI ve NVIDIA Isaac Sim.

MimicGen NIM mikro služba generuje syntetická pohybová data z dálkově zaznamenaných dat ze zařízení prostorového výpočtu, jako je Apple Vision Pro. Robocasa NIM mikro služba generuje úkoly robotů a simulační prostředí v OpenUSD.

Cloud-native spravovaná služba NVIDIA OSMO je nyní k dispozici, což uživatelům umožňuje koordinovat a škálovat složité pracovní postupy vývoje robotů napříč distribuovanými výpočetními zdroji, ať už na místě nebo v cloudu. OSMO výrazně zjednodušuje trénink robotů a simulační pracovní postupy, zkracuje cykly nasazení a vývoje z měsíců na méně než týden.

Poskytování pokročilých pracovních postupů pro zachycení dat pro vývojáře humanoidních robotů.

Trénink základních modelů za humanoidními roboty vyžaduje obrovské množství dat. Jedním ze způsobů, jak získat demonstrační data od lidí, je prostřednictvím dálkového ovládání, ale tato metoda se stává stále dražší a časově náročnější.

Předvedením referenčního pracovního postupu pro dálkové ovládání NVIDIA AI a Omniverse na konferenci SIGGRAPH mohou výzkumníci a vývojáři AI generovat velké množství syntetických pohybových a percepčních dat z minimálního množství vzdáleně zachycených lidských demonstrací.

Nejprve vývojáři zachytí malé množství dálkových demonstrací pomocí Apple Vision Pro. Poté simulují záznamy v NVIDIA Isaac Sim a používají mikro službu MimicGen NIM k generování syntetických datových sad z záznamů.

Vývojáři používají jak skutečná, tak syntetická data k trénování základního modelu humanoidního robota Projektu GR00T, čímž ušetří značný čas a sníží náklady. Poté používají mikro službu Robocasa NIM v Isaac Lab, rámci pro učení robotů, k generování zkušeností pro přeškolení modelu robota. Během celého pracovního postupu NVIDIA OSMO bezproblémově přiděluje výpočetní úkoly různým zdrojům, čímž snižuje pracovní zátěž správy vývojářů o týdny.

Rozšíření přístupu k technologiím pro vývojáře humanoidních robotů NVIDIA.

NVIDIA nabízí tři výpočetní platformy pro zjednodušení vývoje humanoidních robotů: superpočítač NVIDIA AI pro trénování modelů; NVIDIA Isaac Sim, postavený na Omniverse, pro roboty, aby se učili a zdokonalovali dovednosti ve simulovaném světě; a počítač humanoidního robota NVIDIA Jetson Thor pro provozování modelů. Vývojáři mohou přistupovat a používat všechny nebo část těchto platforem podle svých specifických potřeb.

Prostřednictvím nového programu pro vývojáře humanoidních robotů NVIDIA mohou vývojáři získat předběžný přístup k novým produktům a nejnovějším verzím NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor a základnímu modelu humanoidního robota Projektu GR00T.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra a Skild AI jsou mezi prvními společnostmi, které se připojily k programu předběžného přístupu.

Vývojáři se nyní mohou připojit k programu pro vývojáře humanoidních robotů NVIDIA, aby získali přístup k NVIDIA OSMO a Isaac Lab a brzy získali přístup k mikro službám NVIDIA NIM.

Odkaz na blog: https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

Sledujte WriteGo pro nejnovější informace o AI