NVIDIA DeepStream SDK
マルチプラットフォーム対応の DeepStream により、ビジョン AI のアプリケーションやサービスを短期間で簡単に開発し、ワンクリックでオンプレミスやエッジ、クラウドにデプロイできます。
今すぐ始める LaunchPad で試すNVIDIA DeepStream とは
世界中に存在する数十億台のカメラやセンサーが取り込んでいる大量のデータは、ビジネス インサイトの創出、プロセスの効率化、収益源の改善に活用できます。交差点での渋滞の緩和、病院での健康と安全のモニタリング、顧客満足度向上のための店舗通路の調査、工場での欠陥部品の検知など、どんな応用事例においても、信頼できるリアルタイムのインテリジェント ビデオ分析 (IVA) が求められます。NVIDIA の DeepStream SDK は、GStreamer を基盤として AI ベースのマルチセンサー処理やビデオ、音声、画像の理解を実現するストリーミング分析ツールキットで、IVA アプリやサービスを開発するビジョン AI 開発者、ソフトウェア パートナー、スタートアップ、OEM に最適な製品です。開発者はストリーム処理パイプラインを作成し、ニューラル ネットワークなどの複雑な処理タスク (トラッキング、ビデオのエンコード/デコード、ビデオのレンダリングなど) を組み込めるようになります。DeepStream のパイプラインにより、ビデオ、画像、センサーのデータをリアルタイムで分析できます。
主なメリット
強力で柔軟な SDK
DeepStream SDK は、さまざまな業界の幅広いユースケースに適しています。
複数のプログラミングの選択肢
C/C++、Python、Graph Composer のシンプルかつ直観的な UI を使って、強力なビジョン AI アプリケーションを作成できます。
リアルタイムのインサイト
エッジのマルチモーダル センサーのリアルタイムのリッチなデータを理解します。
マネージド AI サービス
Kubernetes を使用して AI サービスをクラウド ネイティブのコンテナーにデプロイし、管理します。
TCO の削減
TAO Toolkit でモデルのトレーニング、適応、最適化を行い、DeepStream でモデルをデプロイすることでストリーム密度を高めます。
独自の機能
エッジからクラウドまで、シームレスな開発を実現
開発者は DeepStream を使用して AI ベースのビデオ、音声、画像分析のためのシームレスなストリーミング パイプラインを構築できます。DeepStream には 30 以上のハードウェア アクセラレーション対応プラグインおよび拡張機能が付属し、前処理や後処理、推論、複数オブジェクトの追跡、メッセージ ブローカーなどを最適化します。また、世界トップクラスのパフォーマンスを誇る、複数オブジェクトを対象としたリアルタイムのトラッカーも提供します。
開発者と企業向けに開発された DeepStream は最先端の SSD、YOLO、FasterRCNN、MaskRCNN などの一般的な物体検出モデルやセグメンテーション モデルを広範な AI モデルでサポートします。また、カスタム関数やライブラリも統合できます。
さまざまなプラグイン向けに新しい REST-API を導入しているため、SaaS としてデプロイできる柔軟性に優れたアプリケーションを作成し、直観的なインターフェイスから制御することができます。つまり、Web ページなどのシンプルなインターフェイスを使って、ストリームの追加や削除、「関心領域」の変更が可能になります。
詳細はこちら
クラウドネイティブの活用
クラウドネイティブ テクノロジは、迅速な製品開発と今後の継続的な製品改良に必要な柔軟性と俊敏性をもたらします。企業は耐障害性と管理性を備えたアプリケーションを構築できるようになり、デプロイも迅速化されます。
開発者は DeepStream Container Builder ツールにより、NVIDIA NGC コンテナーを使って、高性能のクラウドネイティブ AI アプリケーションを構築できます。作成されたコンテナーは、大規模にデプロイしたり、Kubernetes や Helm チャートで管理したりするのも容易です。
詳細はこちら
エンドツーエンドの AI ソリューションの構築
NVIDIA Metropolis でエンドツーエンドのビジョン AI システムを構築することで、開発作業全体をスピードアップし、リアルタイムのパフォーマンスを向上できます。まずは運用品質のビジョン AI モデルを構築し、TAO Toolkit で適応および最適化して、DeepStream を使ってデプロイしましょう。
迅速なプロトタイプ作成から実用水準のソリューション構築まで、優れた柔軟性を実現するほか、推論パスの選択も可能です。NVIDIA Triton™ Inference Server とのネイティブ統合により、PyTorch や TensorFlow などのネイティブ フレームワークで推論モデルをデプロイしたり、NVIDIA TensorRT™ でマルチ GPU、マルチストリーム、バッチ処理のサポートを活用して高スループットの推論を行い、最高のパフォーマンスを実現したりできます。
詳細はこちら
リファレンス アプリケーションへのアクセス
DeepStream SDK には、開発作業を始める際に役立つ 30 以上のサンプル アプリケーションが同梱されています。ほとんどのサンプルは C/C++ 版、Python 版、Graph Composer 版で提供され、NVIDIA Jetson™ および dGPU プラットフォームで実行可能です。リファレンス アプリケーションは、DeepStream プラグインの機能の学習や、カスタムのビジョン AI アプリケーションを開発するためのテンプレートや出発点として利用できます。
また、DeepStream は Basler のカメラと連携しており、工業検査やさまざまなアプリケーションの LiDAR をサポートします。
詳細はこちら
Graph Composer との連携
Graph Composer との連携により、DeepStream を利用している開発者は強力なローコード開発を行えるようになります。シンプルかつ直観的なインターフェイスで、複雑な処理パイプラインを簡単に作成し、Container Builder を使用してすばやくデプロイできます。
Graph Composer は、DeepStream、GStreamer やプラットフォームのプログラミングに関する多くの基礎知識を抽出することで、リアルタイムで動作する最新のマルチストリーム ビジョン AI アプリケーション構築の要件に対応できます。コードを作成する代わりに大規模なコンポーネントのライブラリ使って、ドラッグアンドドロップのインターフェイスで構成や接続を行います。
詳細はこちら
NVIDIA AI Enterprise で DeepStream アプリを高速化
NVIDIA AI Enterprise は、安全でクラウドネイティブなエンドツーエンド AI ソフトウェア スイートです。主な特長は、NVIDIA AI オープンソース ソフトウェアの検証や連携、AI ソリューション ワークフローへのアクセスなどが可能になり、本番環境への移行にかかる時間を短縮できる点です。
企業向けサポートも含まれており、DeepStream を活用したアプリケーションの開発や AI アプリケーションのライフサイクル管理を支援する、グローバルな企業向けサポートを提供します。そのため、ビジネスに不可欠なプロジェクトを円滑に進めることができます。
詳細はこちら
複数のプログラミング オプションを提供
C/C++
C/C++ でアプリケーションを作成し、GStreamer や DeepStream のプラグインを直接操作したり、リファレンス アプリケーションやテンプレートを利用したりできます。
C/C++ の詳細はこちら
Python
GStreamer フレームワークの Python バインディングである Gst Python を使って DeepStream パイプラインを構築できます。バインディングと Python のサンプル アプリケーションのソース コードは GitHub で入手できます。
Python の詳細はこちら
Graph Composer
Graph Composer は DeepStream のユーザー エクスペリエンスを向上する、ローコード開発ツールです。シンプルかつ直観的な UI でドラッグアンドドロップ操作を行い、処理パイプラインを構築できます。
Graph Composer の詳細はこちら
精度とリアルタイムのパフォーマンスの向上
DeepStream はさまざまな種類の物体検出、画像処理、インスタンスのセグメンテーションの AI モデル向けに卓越したスループットを提供します。下表はエンドツーエンド アプリケーションのデータの取り込みからデコーディング、画像処理、推論までのパフォーマンスを示しています。複数の 1080p/30fps ストリームを入力として受信します。なお、Jetson デバイス の DLA 上で実行すると、他のタスクのために GPU が解放されます。パフォーマンスのベスト プラクティスについてはチュートリアル動画をご覧ください。
|
|
(Version 2.6) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(Version 2.6) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
LPDNet LPRNet |
|
640x480 96x48 |
INT8 FP16 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
192x256 |
FP16 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
RTX GPU パフォーマンスは、主要製品についてのみ報告されています。すべての SKU が DeepStream をサポートしています。
DeepStream SDK を使用すれば、AI をストリーミング ビデオに適用すると同時にビデオのデコード/エンコード、画像のスケーリングと変換、エッジからクラウドへの接続を最適化して、完全にエンドツーエンドのパフォーマンス最適化を実現できます。
DeepStream を使用したパフォーマンスの詳細については、資料をご参照ください。
顧客事例
.jpg)
OneCup AI
OneCup AI のコンピューター ビジョン システムは、動物の動きを追跡、分類する際に NVIDIA の学習済みモデル、TAO Toolkit、DeepStream SDK を活用し、開発時間を数か月から数週間へと大幅に短縮しています。
OneCup AI の詳細はこちら
Fingermark
Fingermark は NVIDIA TAO Toolkit と DeepStream SDK を活用することで、産業用のビジョン AI ソリューションの開発を高速化し、従業員の安全性を高めました。
Fingermark の詳細はこちら
Trifork
Trifork は NVIDIA DeepStream SDK、学習済みモデル、TAO Toolkit によって AI モデル開発をすばやく開始し、AI ベースの空港の手荷物追跡ソリューションを開発しました。
Trifork の詳細はこちら
よく寄せられる質問
DeepStream はクローズドソースの SDK です。なお、すべてのリファレンス アプリケーションといくつかのプラグインのソースをご利用いただくことは可能です。
DeepStream SDK を使用してエンドツーエンドの AI アプリケーションを構築し、ビデオやセンサーのデータを分析できます。よくあるユース ケースとしては、小売分析、駐車管理、ロジスティクス管理、光学検査、ロボティクス、スポーツ アナリティクスなどがあります。
はい。Triton Inference Server の統合で可能になります。また DeepStream 6.1.1 では、アプリケーションは gPRC を使って Triton Inference Server の独立したインスタンスやリモートのインスタンスと通信できます。
DeepStream はすぐに使用できる一般的なネットワークを複数サポートしています。たとえば MaskRCNN などです。また、一般的な YOLO モデル、FasterRCNN、SSD、RetinaNet を実行するサンプルが付属しています。
はい。DS 6.0 以降のバージョンは Ampere アーキテクチャをサポートしています。
はい。音声は DeepStream SDK 6.1.1 でサポートされます。利用を開始するにはソフトウェアをダウンロードして、参照用の音声および自動音声認識 (ASR) アプリケーションを確認してください。詳細については、ASR DeepStream Plugin をご覧ください。