Apple Vision Proでロボットをリモート操作、NVIDIA:『人間と機械の統合は難しくない』

ジェンセン・ファンは、「次のAIの波はロボットであり、最もエキサイティングな進展の1つはヒューマノイドロボットです。」と述べました。今日、プロジェクトGR00Tが重要な前進を遂げました。

昨日、NVIDIAの創業者ジェンセン・ファンは、SIGGRAPH 2024の基調講演で、一般的なヒューマノイドロボットモデル「プロジェクトGR00T」について語りました。このモデルは一連の機能更新を受けました。

テキサス大学オースティン校の助教授でありNVIDIAのシニアリサーチサイエンティストであるユーク・ズーは、NVIDIAが大規模な家庭用ロボットシミュレーショントレーニングフレームワークRoboCasaとMimicGenをNVIDIA Omniverseプラットフォームおよびアイザックロボット開発プラットフォームに統合したデモ動画をツイートしました。

この動画では、NVIDIAの3つのコンピューティングプラットフォーム—AI、Omniverse、Jetson Thor—が取り上げられ、開発者のワークフローを簡素化し加速する方法が示されています。これらのコンピューティングプラットフォームの組み合わせにより、物理AI駆動のヒューマノイドロボットの時代に突入する準備が整いました。

注目すべき点は、開発者がApple Vision Proを使用してヒューマノイドロボットをリモートで操作し、タスクを実行できることです。

その一方で、NVIDIAの別のシニアリサーチサイエンティストであるジム・ファンは、プロジェクトGR00Tの更新が刺激的であると述べました。NVIDIAはロボットデータをスケールアップするために体系的なアプローチを採用し、ロボティクス分野の最も難しい問題のいくつかに取り組んでいます。

アイデアはシンプルです: 人間が実際のロボットでデモデータを収集し、NVIDIAはこのデータをシミュレーションで千倍以上にスケールアップします。GPU加速されたシミュレーションにより、人々は今や時間のかかる労働集約的で高コストな人間データ収集プロセスを置き換えるための計算力を利用できます。

彼は、最近までリモートオペレーションは根本的にスケール不可能だと考えていたと述べています。なぜなら、原子の世界では、ロボット1台あたり1日24時間の制限が常にあるからです。GR00Tで使用されている新しい合成データパイプラインは、この制限をデジタル世界で打破します。

NVIDIAのヒューマノイドロボティクスにおける最新の進展について、あるネットユーザーはApple Vision Proが最もクールなユースケースを見つけたとコメントしました。

NVIDIAは次の波をリードし始めています: 物理AI。

NVIDIAは、ヒューマノイドロボットの加速に関する技術プロセスをブログ投稿で詳述しました。以下はその内容です:

NVIDIAは、世界中のヒューマノイドロボットの開発を加速させるために、ロボット製造業者、AIモデル開発者、ソフトウェアメーカー向けに一連のサービス、モデル、およびコンピューティングプラットフォームを発表し、次世代のヒューマノイドロボットを開発、トレーニング、構築できるようにしています。

このスイートには、ロボットシミュレーションと学習のための新しいNVIDIA NIMマイクロサービスとフレームワーク、マルチステージロボットワークロードを実行するためのNVIDIA OSMOオーケストレーションサービス、AIとシミュレーションをサポートするリモートオペレーションワークフローが含まれており、開発者が最小限の人間のデモデータでロボットをトレーニングできるようにします。

ジェンセン・ファンは、「次のAIの波はロボットであり、最もエキサイティングな進展の1つはヒューマノイドロボットです。NVIDIAのロボットスタック全体を進化させており、ヒューマノイドロボット開発者や企業が、自身のニーズに最も適したプラットフォーム、加速ライブラリ、AIモデルを利用できるようにしています。」と述べました。

NVIDIA NIMとOSMOによる開発の加速。

NIMマイクロサービスは、NVIDIAの推論ソフトウェアを搭載した事前構築されたコンテナを提供し、デプロイメント時間を数週間から数分に短縮します。

2つの新しいAIマイクロサービスは、ロボティクスの専門家がNVIDIAアイザックシムにおける物理AIシミュレーションワークフローの生成を強化できるようにします。

MimicGen NIMマイクロサービスは、Apple Vision Proなどの空間コンピューティングデバイスからリモートで記録されたデータから合成動作データを生成します。Robocasa NIMマイクロサービスは、OpenUSDでロボットタスクとシミュレーション環境を生成します。

クラウドネイティブな管理サービスNVIDIA OSMOが利用可能になり、ユーザーはオンプレミスまたはクラウド上の分散コンピューティングリソース全体で複雑なロボット開発ワークフローを調整しスケールできます。OSMOはロボットのトレーニングとシミュレーションワークフローを大幅に簡素化し、デプロイメントと開発サイクルを数ヶ月から1週間未満に短縮します。

ヒューマノイドロボット開発者向けの高度なデータキャプチャワークフローの提供。

ヒューマノイドロボットの背後にある基盤モデルをトレーニングするには膨大なデータが必要です。人間のデモデータを取得する方法の一つはリモート操作ですが、この方法はますます高価で時間がかかるようになっています。

SIGGRAPHコンピュータグラフィックス会議でNVIDIA AIとOmniverseのリモートオペレーションリファレンスワークフローを紹介することで、研究者やAI開発者は最小限のリモートでキャプチャした人間のデモから大量の合成動作と知覚データを生成できます。

まず、開発者はApple Vision Proを使用して少量のリモートデモをキャプチャします。次に、NVIDIAアイザックシムで記録をシミュレーションし、MimicGen NIMマイクロサービスを使用して記録から合成データセットを生成します。

開発者は、実データと合成データの両方を使用してプロジェクトGR00Tヒューマノイドロボット基盤モデルをトレーニングし、時間を大幅に節約し、コストを削減します。次に、アイザックラボでRobocasa NIMマイクロサービスを使用してロボットモデルを再トレーニングするための体験を生成します。ワークフロー全体を通じて、NVIDIA OSMOは異なるリソースに計算タスクをシームレスに割り当て、開発者の管理作業負担を数週間短縮します。

NVIDIAヒューマノイドロボット開発者技術へのアクセスの拡大。

NVIDIAは、ヒューマノイドロボット開発を簡素化するために3つのコンピューティングプラットフォームを提供しています: モデルをトレーニングするためのNVIDIA AIスーパーコンピュータ; ロボットがシミュレーションされた世界でスキルを学び洗練するためのOmniverseに基づくNVIDIAアイザックシム; モデルを実行するためのNVIDIA Jetson Thorヒューマノイドロボットコンピュータ。開発者は、特定のニーズに応じて、これらのプラットフォームの全体または一部にアクセスして使用できます。

新しいNVIDIAヒューマノイドロボット開発者プログラムを通じて、開発者は新製品や最新バージョンのNVIDIAアイザックシム、NVIDIAアイザックラボ、Jetson Thor、およびプロジェクトGR00T一般ヒューマノイドロボット基盤モデルに早期アクセスできます。

1x、ボストン・ダイナミクス、バイトダンス、フィールドAI、フィギュア、フーリエ、ガルボット、LimXダイナミクス、メンティー、ニューロロボティクス、ロボットエラ、スキルドAIなどが早期アクセスプログラムに参加する最初の企業の一部です。

開発者は、現在NVIDIAヒューマノイドロボット開発者プログラムに参加し、NVIDIA OSMOおよびアイザックラボにアクセスし、すぐにNVIDIA NIMマイクロサービスへのアクセスを得ることができます。

ブログリンク: https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

最新のAI情報を得るために、WriteGoをフォローしてください