Controle Robôs Remotamente com Apple Vision Pro, NVIDIA: 'A Integração Humano-Máquina Não É Difícil'

Jensen Huang disse: "A próxima onda da IA são os robôs, e um dos desenvolvimentos mais empolgantes são os robôs humanoides." Hoje, o Projeto GR00T deu um passo importante à frente.

Ontem, o fundador da NVIDIA, Jensen Huang, falou sobre seu modelo de robô humanoide de propósito geral, "Projeto GR00T", durante seu discurso principal na SIGGRAPH 2024. O modelo recebeu uma série de atualizações funcionais.

Yuke Zhu, professor assistente na Universidade do Texas em Austin e pesquisador sênior na NVIDIA, tuitou um vídeo demonstrando como a NVIDIA integrou as estruturas de treinamento de simulação de robôs domésticos em larga escala, RoboCasa e MimicGen, na plataforma NVIDIA Omniverse e na plataforma de desenvolvimento de robôs Isaac.

O vídeo aborda as três plataformas de computação da NVIDIA—IA, Omniverse e Jetson Thor—aproveitando-as para simplificar e acelerar os fluxos de trabalho dos desenvolvedores. Através das capacidades combinadas dessas plataformas de computação, estamos prontos para entrar em uma era de robôs humanoides impulsionados por IA física.

Entre os destaques está o fato de que os desenvolvedores podem usar o Apple Vision Pro para controlar remotamente robôs humanoides para realizar tarefas.

Enquanto isso, outro pesquisador sênior da NVIDIA, Jim Fan, afirmou que as atualizações do Projeto GR00T são emocionantes. A NVIDIA usa uma abordagem sistemática para escalar dados de robôs, abordando alguns dos problemas mais desafiadores no campo da robótica.

A ideia é simples: os humanos coletam dados de demonstração em robôs reais, e a NVIDIA escala esses dados mil vezes ou mais em simulações. Com simulações aceleradas por GPU, as pessoas agora podem usar poder computacional para substituir o processo demorado, trabalhoso e custoso de coleta de dados humanos.

Ele mencionou que não faz muito tempo, ele acreditava que a operação remota era fundamentalmente não escalável porque, no mundo atômico, sempre somos limitados pelo limite de 24 horas por robô por dia. O novo pipeline de dados sintéticos usado no GR00T quebra essa limitação no mundo digital.

Sobre os últimos avanços da NVIDIA em robótica humanoide, um internauta comentou que o Apple Vision Pro encontrou seu uso mais legal.

A NVIDIA começa a liderar a próxima onda: IA física.

A NVIDIA também detalhou o processo técnico de aceleração de robôs humanoides em um post de blog. Aqui está o conteúdo completo:

Para acelerar o desenvolvimento de robôs humanoides em todo o mundo, a NVIDIA anunciou um conjunto de serviços, modelos e plataformas de computação para fabricantes de robôs líderes, desenvolvedores de modelos de IA e criadores de software globalmente, permitindo que eles desenvolvam, treinem e construam a próxima geração de robôs humanoides.

Este conjunto inclui os novos microsserviços e estruturas NVIDIA NIM para simulação e aprendizado de robôs, o serviço de orquestração NVIDIA OSMO para execução de cargas de trabalho robóticas em várias etapas, e o fluxo de trabalho de operação remota que suporta IA e simulação, permitindo que os desenvolvedores treinem robôs com dados de demonstração humana mínimos.

Jensen Huang afirmou: "A próxima onda da IA são os robôs, e um dos desenvolvimentos mais empolgantes são os robôs humanoides. Estamos avançando em toda a pilha de robôs da NVIDIA, abrindo-a para desenvolvedores e empresas de robôs humanoides em todo o mundo, permitindo que eles usem as plataformas, bibliotecas aceleradas e modelos de IA que melhor atendem às suas necessidades."

Acelerando o desenvolvimento com NVIDIA NIM e OSMO.

Os microsserviços NIM oferecem contêineres pré-construídos alimentados pelo software de inferência NVIDIA, reduzindo o tempo de implantação de semanas para minutos.

Dois novos microsserviços de IA permitirão que especialistas em robótica aprimorem a geração de fluxos de trabalho de simulação de IA física no NVIDIA Isaac Sim.

O microsserviço MimicGen NIM gera dados de movimento sintético a partir de dados gravados remotamente de dispositivos de computação espacial, como o Apple Vision Pro. O microsserviço Robocasa NIM gera tarefas de robô e ambientes de simulação em OpenUSD.

O serviço gerenciado nativo da nuvem NVIDIA OSMO já está disponível, permitindo que os usuários coordenem e escalem fluxos de trabalho complexos de desenvolvimento de robôs em recursos de computação distribuídos, seja localmente ou na nuvem. O OSMO simplifica significativamente os fluxos de trabalho de treinamento e simulação de robôs, reduzindo os ciclos de implantação e desenvolvimento de meses para menos de uma semana.

Fornecendo fluxos de trabalho avançados de captura de dados para desenvolvedores de robôs humanoides.

Treinar os modelos fundamentais por trás dos robôs humanoides requer grandes quantidades de dados. Uma maneira de obter dados de demonstração humana é através da operação remota, mas esse método está se tornando cada vez mais caro e demorado.

Ao apresentar o fluxo de trabalho de referência de operação remota da NVIDIA AI e Omniverse na conferência de gráficos computacionais SIGGRAPH, pesquisadores e desenvolvedores de IA podem gerar grandes quantidades de dados sintéticos de movimento e percepção a partir de uma quantidade mínima de demonstrações humanas capturadas remotamente.

Primeiro, os desenvolvedores capturam uma pequena quantidade de demonstração remota usando o Apple Vision Pro. Em seguida, eles simulam gravações no NVIDIA Isaac Sim e usam o microsserviço MimicGen NIM para gerar conjuntos de dados sintéticos a partir das gravações.

Os desenvolvedores usam tanto dados reais quanto sintéticos para treinar o modelo fundamental do robô humanoide do Projeto GR00T, economizando tempo significativo e reduzindo custos. Eles então usam o microsserviço Robocasa NIM no Isaac Lab, uma estrutura de aprendizado de robô, para gerar experiências para re-treinar o modelo do robô. Ao longo do fluxo de trabalho, o NVIDIA OSMO aloca tarefas computacionais de maneira contínua a diferentes recursos, reduzindo a carga de gerenciamento dos desenvolvedores em semanas.

Expandindo o acesso às tecnologias de desenvolvedor de robôs humanoides da NVIDIA.

A NVIDIA oferece três plataformas de computação para simplificar o desenvolvimento de robôs humanoides: o supercomputador de IA da NVIDIA para treinar modelos; o NVIDIA Isaac Sim, construído sobre o Omniverse, para robôs aprenderem e refinarem habilidades em um mundo simulado; e o computador de robô humanoide NVIDIA Jetson Thor para executar modelos. Os desenvolvedores podem acessar e usar todas ou partes dessas plataformas de acordo com suas necessidades específicas.

Através do novo Programa de Desenvolvedor de Robôs Humanoides da NVIDIA, os desenvolvedores podem ter acesso antecipado a novos produtos e às últimas versões do NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor e do modelo fundamental do robô humanoide geral do Projeto GR00T.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra e Skild AI estão entre as primeiras empresas a se juntar ao programa de acesso antecipado.

Os desenvolvedores agora podem se inscrever no Programa de Desenvolvedor de Robôs Humanoides da NVIDIA para acessar o NVIDIA OSMO e Isaac Lab e em breve obter acesso aos microsserviços NVIDIA NIM.

Link do blog: https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

Siga WriteGo para obter as últimas informações sobre IA