NVIDIA Isaac ROS GEMs

高スループットの認識

Isaac ROS GEMs は、画像処理とコンピューター ビジョンのパッケージで、NVIDIA GPU と Jetson 向けに高度に最適化された DNN の処理が含まれています。

モジュラー型の柔軟なパッケージ

モジュラー型のパッケージのため、ROS 開発者はアプリケーションに必要な要素だけを統合できます。パイプライン全体を入れ替えることも、アルゴリズムを 1 つだけ交換することも可能です。

開発時間の短縮

Isaac ROS GEMs は、既存の ROS ノードと同様に設計およびテストされているめ、既存アプリケーションに容易に統合できます。

DNN 推論 GEM は ROS2 パッケージ群で、開発者はNGCで提供されている NVIDIA の多数の推論モデル を使用したり、独自の DNN を提供したりできます。NVIDIA TAO Toolkit を使用して、学習済みモデルのさらなる調整や、独自に開発したモデルの最適化を行います。

最適化した後、これらのパッケージをTensorRT または NVIDIA の推論サーバー、Tritonでデプロイします。NVIDIA の高性能推論 SDK、TensorRT, を活用したノードであれば、最適な推論性能を達成できます。ご希望の DNN モデルが TensorRT でサポートされていない場合は、Triton を使用してデプロイします。

GEM には U-Net と DOPEのネイティブ サポートが含まれます。TensorRT がベースの U-Net パッケージは、画像からセマンティック セグメンテーション マスクを生成するのに使用できます。DOPE パッケージは、検出されたすべての物体 3D 姿勢推定に使用できます。

このツールは、高性能 AI 推論を ROS アプリケーションに組み込む最も高速な方法です。学習済みモデル、PeopleSemSegNet(右の画像) の実行速度は 25fps @544pです。

Isaac ROS DNN 推論 Isaac ROS Pose Estimation Isaac ROS Image Segmentation

一般的なロボティクス画像処理のパイプラインでは、カメラ センサーから受け取った生のデータを DNN または標準的なコンピューター ビジョン モジュールで認識させる前に、処理を行う必要があります。この画像処理には、レンズ歪み補正 (LDC)、画像のサイズ調整、画像形式の変換があります。ステレオ カメラを使用する場合は視差の推定も必要です。画像処理用の GEM は、GPU、VIC (Video and Image Compositor) と PVA (Programmable Vision Accelerator) など Jetson の特化型コンピューター ビジョン ハードウェアを利用するよう設計されています。

CSI インターフェイス経由で接続したカメラを使用するロボットについては、NVIDIA がハードウェア アクセラレーション対応 Argus パッケージを提供します。

画像はレンズが歪んだカメラ画像 (左) と LDC GEM を使用して補正した画像 (右) を示しています

Isaac ROS 画像処理

自律型マシンは環境内を動き回るため、自身の位置を常に把握していなければなりません。ビジュアル オドメトリは、開始地点からの相対的な位置をカメラで推測する技術です。ステレオ ビジュアル オドメトリ向けの Isaac ROS GEM は、ROS 開発者に優れた機能を提供します。

これにより、最高の精度 をのリアルタイム ステレオ カメラのビジュアル オドメトリ ソリューションを実現します。KITTI データベースでの公開ベンチマーク結果はこちらで参照できます。この GPU アクセラレーション パッケージは精度が高いだけでなく、きわめて高速 です。実際、SLAM を Jetson Xavier AGX でHD 解像度 (1280x720) でリアルタイム (>60fps) で実行できます。

Isaac ROS ステレオ ビジュアル オドメトリ