Contrôlez des robots à distance avec Apple Vision Pro, NVIDIA : 'L'intégration homme-machine n'est pas difficile'

Jensen Huang a déclaré : "La prochaine vague de l'IA, ce sont les robots, et l'un des développements les plus passionnants, ce sont les robots humanoïdes." Aujourd'hui, le Projet GR00T a fait un pas important en avant.

Hier, le fondateur de NVIDIA, Jensen Huang, a parlé de leur modèle de robot humanoïde à usage général, "Projet GR00T", lors de son discours d'ouverture à SIGGRAPH 2024. Le modèle a reçu une série de mises à jour fonctionnelles.

Yuke Zhu, professeur adjoint à l'Université du Texas à Austin et chercheur senior chez NVIDIA, a tweeté une vidéo démontrant comment NVIDIA a intégré les cadres de formation de simulation de robots domestiques à grande échelle RoboCasa et MimicGen dans la plateforme NVIDIA Omniverse et la plateforme de développement de robots Isaac.

La vidéo couvre les trois plateformes de calcul de NVIDIA—IA, Omniverse et Jetson Thor—les utilisant pour simplifier et accélérer les flux de travail des développeurs. Grâce aux capacités combinées de ces plateformes de calcul, nous sommes prêts à entrer dans une ère de robots humanoïdes alimentés par l'IA physique.

Parmi les points forts, les développeurs peuvent utiliser Apple Vision Pro pour contrôler à distance des robots humanoïdes afin qu'ils effectuent des tâches.

Pendant ce temps, un autre chercheur senior chez NVIDIA, Jim Fan, a déclaré que les mises à jour du Projet GR00T sont enthousiasmantes. NVIDIA utilise une approche systématique pour échelonner les données des robots, abordant certains des problèmes les plus difficiles dans le domaine de la robotique.

L'idée est simple : les humains collectent des données de démonstration sur de vrais robots, et NVIDIA échelonne ces données mille fois ou plus dans des simulations. Grâce aux simulations accélérées par GPU, les gens peuvent désormais utiliser la puissance de calcul pour remplacer le processus long, laborieux et coûteux de collecte de données humaines.

Il a mentionné qu'il n'y a pas longtemps, il croyait que l'opération à distance était fondamentalement non évolutive parce que, dans le monde atomique, nous sommes toujours contraints par la limite de 24 heures par robot par jour. Le nouveau pipeline de données synthétiques utilisé dans GR00T brise cette limitation dans le monde numérique.

Concernant les dernières avancées de NVIDIA en robotique humanoïde, un internaute a commenté que l'Apple Vision Pro a trouvé son cas d'utilisation le plus cool.

NVIDIA commence à diriger la prochaine vague : l'IA physique.

NVIDIA a également détaillé le processus technique d'accélération des robots humanoïdes dans un article de blog. Voici le contenu complet :

Pour accélérer le développement des robots humanoïdes dans le monde entier, NVIDIA a annoncé un ensemble de services, de modèles et de plateformes de calcul pour les principaux fabricants de robots, développeurs de modèles IA et créateurs de logiciels à l'échelle mondiale, leur permettant de développer, former et construire la prochaine génération de robots humanoïdes.

Cette suite comprend les nouveaux microservices et frameworks NIM de NVIDIA pour la simulation et l'apprentissage des robots, le service d'orchestration NVIDIA OSMO pour exécuter des charges de travail de robots multi-étapes, et le flux de travail d'opération à distance supportant l'IA et la simulation, permettant aux développeurs de former des robots avec un minimum de données de démonstration humaine.

Jensen Huang a déclaré : "La prochaine vague de l'IA, ce sont les robots, et l'un des développements les plus passionnants, ce sont les robots humanoïdes. Nous faisons progresser l'ensemble de la pile robotique NVIDIA, l'ouvrant aux développeurs et entreprises de robots humanoïdes du monde entier, leur permettant d'utiliser les plateformes, bibliothèques accélérées et modèles IA qui répondent le mieux à leurs besoins."

Accélérer le développement avec NVIDIA NIM et OSMO.

Les microservices NIM offrent des conteneurs préconstruits alimentés par le logiciel d'inférence NVIDIA, réduisant le temps de déploiement de semaines à minutes.

Deux nouveaux microservices IA permettront aux experts en robotique d'améliorer la génération de flux de travail de simulation d'IA physique dans NVIDIA Isaac Sim.

Le microservice MimicGen NIM génère des données de mouvement synthétiques à partir de données enregistrées à distance à partir de dispositifs de calcul spatial tels qu'Apple Vision Pro. Le microservice Robocasa NIM génère des tâches de robot et des environnements de simulation dans OpenUSD.

Le service géré cloud-native NVIDIA OSMO est désormais disponible, permettant aux utilisateurs de coordonner et d'échelonner des flux de travail complexes de développement de robots sur des ressources de calcul distribuées, que ce soit sur site ou dans le cloud. OSMO simplifie considérablement les flux de travail de formation et de simulation des robots, réduisant les cycles de déploiement et de développement de mois à moins d'une semaine.

Fournir des flux de travail avancés de capture de données pour les développeurs de robots humanoïdes.

Former les modèles fondamentaux derrière les robots humanoïdes nécessite d'énormes quantités de données. L'une des manières d'obtenir des données de démonstration humaines est l'opération à distance, mais cette méthode devient de plus en plus coûteuse et chronophage.

En présentant le flux de travail de référence d'opération à distance NVIDIA IA et Omniverse lors de la conférence SIGGRAPH sur les graphiques informatiques, les chercheurs et développeurs IA peuvent générer de grandes quantités de données de mouvement et de perception synthétiques à partir d'une quantité minimale de démonstrations humaines capturées à distance.

Tout d'abord, les développeurs capturent une petite quantité de démonstration à distance en utilisant Apple Vision Pro. Ensuite, ils simulent les enregistrements dans NVIDIA Isaac Sim et utilisent le microservice MimicGen NIM pour générer des ensembles de données synthétiques à partir des enregistrements.

Les développeurs utilisent à la fois des données réelles et synthétiques pour former le modèle fondamental du robot humanoïde Projet GR00T, économisant un temps considérable et réduisant les coûts. Ils utilisent ensuite le microservice Robocasa NIM dans Isaac Lab, un cadre d'apprentissage de robots, pour générer des expériences pour le réentraînement du modèle de robot. Tout au long du flux de travail, NVIDIA OSMO alloue de manière transparente les tâches de calcul à différentes ressources, réduisant la charge de gestion des développeurs de plusieurs semaines.

Élargir l'accès aux technologies de développement de robots humanoïdes de NVIDIA.

NVIDIA propose trois plateformes de calcul pour simplifier le développement de robots humanoïdes : le superordinateur IA NVIDIA pour former des modèles ; NVIDIA Isaac Sim, construit sur Omniverse, pour que les robots apprennent et perfectionnent des compétences dans un monde simulé ; et l'ordinateur de robot humanoïde NVIDIA Jetson Thor pour exécuter des modèles. Les développeurs peuvent accéder et utiliser tout ou partie de ces plateformes selon leurs besoins spécifiques.

Grâce au nouveau programme de développeurs de robots humanoïdes de NVIDIA, les développeurs peuvent accéder en avant-première à de nouveaux produits et aux dernières versions de NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor et du modèle fondamental de robot humanoïde général Projet GR00T.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra et Skild AI figurent parmi les premières entreprises à rejoindre le programme d'accès anticipé.

Les développeurs peuvent désormais rejoindre le programme de développeurs de robots humanoïdes de NVIDIA pour accéder à NVIDIA OSMO et Isaac Lab et bientôt obtenir l'accès aux microservices NVIDIA NIM.

Lien vers le blog : https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

Suivez WriteGo pour obtenir les dernières informations sur l'IA