DeepStream SDK

ビジョン AI アプリケーションやサービスをすばやく開発してデプロイ。DeepStream は、オンプレミス、エッジ、クラウドにデプロイ可能な、マルチプラットフォーム対応のスケーラブルな TLS 暗号化セキュリティを提供します。


今すぐ始める


世界中に存在する数十億台のカメラやセンサーは大量のデータを取り込んでおり、ビジネス インサイトの創出、プロセスの効率化、収益源の改善に活用できます。交差点での渋滞の緩和、病院での健康と安全のモニタリング、顧客満足度向上のための店舗通路の調査、スポーツ アナリティクス、工場での欠陥部品の検知など、どんな応用事例においても信頼できるリアルタイムのインテリジェント ビデオ分析 (IVA) が求められます。


強力で柔軟な SDK

幅広い業界の多くのユースケースに適した統合 SDK です。

ローコード プログラミング

Graph Composer のシンプルかつ直感的な UI を使用して、優れたビジョン AI アプリケーションを作成できます。

リアルタイムのインサイト

エッジのマルチモーダル センサーのリッチなデータを理解します。

マネージド AI サービス

Kubernetes を使用して AI サービスをクラウド ネイティブのコンテナーにデプロイし、管理します。

TCO の削減

TAO Toolkit でトレーニングを行い、DeepStream でストリーム密度を高めます。



NVIDIA の DeepStream SDK は AI ベースのマルチセンサー処理やビデオ、音声、画像の理解のためのストリーミング分析ツールキットです。

DeepStream は IVA アプリやサービスを開発する ビジョン AI 開発者、ソフトウェア パートナー、スタートアップ、OEM 向けの製品です。


DeepStream は、ピクセルやセンサー データから実用的なインサイトを導き出すエンドツーエンドのサービスやソリューションの開発プラットフォーム、NVIDIA Metropolis の不可欠な部分でもあります。

DeepStream を使用して精度の向上とリアルタイム パフォーマンスを達成


DeepStream はさまざまな種類の物体検出、画像分類、インスタンスのセグメンテーション ベースの AI モデル向けに卓越したスループットを提供します。開発負荷を減らしてスループットを高めるために、TAO Toolkit の高精度の学習済みモデルを使用して、DeepStream でデプロイできます。下表はエンドツーエンド アプリケーションのデータの取り込みからデコーディング、画像処理、推論までのパフォーマンスを示しています。複数の 1080p/30fps ストリームを入力として受信します。Jetson Xavier NX と Jetson AGX Xavier の DLA 上で実行すると、他のタスクのために GPU が解放されます。


Jetson Nano*
Jetson TX2*
Jetson Xavier NX
Jetson AGX Xavier
T4
A100
アプリケーション
モデル
推論の解像度
演算精度
モデルの精度
GPU (FPS*)
GPU (FPS)
GPU (FPS)
DLA1 (FPS)
DLA2 (FPS)
GPU (FPS)
DLA1 (FPS)
DLA2 (FPS)
GPU (FPS)
GPU (FPS)
人体検出
PeopleNet-ResNet34
960x544
INT8
84%
12
31
172
48
48
305
53
53
926
3345
車両検出
TrafficCamNet-ResNet18
960x544
INT8
84%
19
51
274
89
89
486
111
111
1353
3855
車両検出
DashCamNet-ResNet18
960x544
INT8
80%
18
46
261
91
91
460
116
116
1341
3870
顔検出
FaceDetect-IR-ResNet18
384x240
INT8
96%
101
276
1126
455
455
2007
624
624
2516
5578
表のデータの単位は FPS で、入力は 1080p/30fps です。バッチ サイズは入力ストリーム数に相当し、表の FPS の合計を 30 で割った数値です。
* Jetson Nano と TX2 上での FP16 推論



DeepStream SDK を使用すれば、AI をストリーミング ビデオに応用すると同時にビデオのデコード/エンコード、画像のスケーリングと変換、エッジからクラウドへの接続を最適化して、完全にエンドツーエンドのパフォーマンス最適化を実現できます。右のグラフは各 NVIDIA 製品の 1080p/30fps でのストリーム密度をまとめたものです。DeepStream を使用したパフォーマンスの詳細については、こちらの資料をご参照ください。

右のグラフは各 NVIDIA 製品の 1080p/30fps でのストリーム密度をまとめたものです。

パフォーマンスのベスト プラクティスについては、こちらの動画チュートリアルをご覧ください。

DeepStream リファレンス アプリを使用して生成される数



DeepStream SDK を使用する理由


シームレスな開発

開発者は DeepStream を使用して AI ベースのビデオ解析、音声分析、画像分析のためのシームレスなストリーミング パイプラインを構築できます。C/C++ や Python での開発、または Graph Composer のローコード グラフィカル プログラミングの使用を開発者が柔軟に選べます。さまざまなハードウェア アクセラレーション対応プラグインや拡張機能が付属しています。

開発者や企業向けに開発された DeepStream は、最先端の SSD、YOLO、FasterRCNN、MaskRCNN など、人気の物体検出モデルやセグメンテーション モデルを広範にサポートします。また、カスタム関数やライブラリも統合できます。

Deepstream はすばやいプロトタイプ作成から本番レベルのソリューションまで柔軟に対応します。推論パスを選択することもできます。NVIDIA Triton Inference Serverにネイティブに統合し、PyTorch や TensorFlow などのネイティブ フレームワークで推論モデルをデプロイ可能です。NVIDIA TensorRT の、マルチ GPU、マルチストリーム、バッチ処理のサポートのオプションを活用した高スループットの推論により、最高のパフォーマンスを達成できます。

ネイティブな推論サポートに加えて、DeepStream アプリケーションは gRPC を使用して Triton Inference Server の独立/リモートのインスタンスと対話できるため、分散型推論ソリューションを実装できます。





DeepStream 6.0 に新登場: Graph Composer でのローコード プログラミング

Graph Composer を使用すると、DeepStream の開発で優れたローコードのグラフィカル プログラミングができるようになります。シンプルかつ直感的なインターフェースで、複雑な処理パイプラインも簡単に作成でき、Container Builder を使用してすばやくデプロイできます。

Graph Composer は、DeepStream、GStreamer、プラットフォーム プログラミングの知識のほとんどを抽出できるため、リアルタイムのマルチストリーム ビジョン AI アプリケーションの最新要件に対応した設計に最適です。

ユーザーはコードを作成する代わりに、拡張機能のライブラリをドラッグアンドドロップのインターフェースで構成し接続します。ユーザーは NVIDIA の各種ハードウェア プラットフォームに最適化された拡張機能リポジトリを使用するか、独自に作成します。





開発者は、複雑なパイプラインやアプリケーションをグラフィカル プログラミングですばやく構築可能


アプリとサービスの安全な管理

実世界の IVA アプリ/サービスのデプロイにおいて、アプリケーションのリモート管理と制御はきわめて重要です。DeepStream SDK はクラウドでもエッジでも実行できます。エッジとクラウド間の効果的な双方向メッセージング、セキュリティ、スマート記録、Over-the-Air での AI モデルの更新といった IoT の要件に対応します。

  • エッジとクラウド間の双方向のメッセージングにより、イベント記録、オペレーティング パラメータやアプリ構成の変更、システム ログの要求のリモート トリガーといったユースケースで、細かくコントロールできます。
  • DeepStream アプリのスマート記録機能は、選択的な記録でエッジの貴重なディスク容量の使用を抑え、検索を高速化できます。クラウドからエッジへのメッセージングを使用してクラウドからすばやく記録を開始できます。
  • クラウド レジストリからアプリ全体または個別の AI モデルをシームレスに Over The Air (OTA) で更新し、ダウンタイムなしで正確性を継続的に向上します。
  • 安全な IoT デバイス通信のために、DeepStream は SSL 証明書に基づいた双方向 TLS 認証と、公開鍵認証に基づいた暗号化通信を提供します。

DeepStream は Redis、Kafka、MQTT、AMQP との IoT 統合インターフェイスと、AWS IoTMicrosoft Azure IoT とのターンキー統合を提供します。

NVIDIA NGC コンテナーを使用して高性能の DeepStream クラウド ネイティブ アプリケーションを構築できます。DeepStream を使用すると、コンテナー化されたアプリを大規模にデプロイし、KubernetesHelm Charts で管理できます。





双方向 IoT メッセージング機能を使用して DeepStream を使用した特定のイベントの記録を開始






強力なエンドツーエンドの AI ソリューション

NVIDIA TAO Toolkit と運用品質のビジョン AI モデルでエンドツーエンドのビジョン AI ステムを構築し、DeepStream を使用してエッジにデプロイすることで、開発作業全体をスピードアップし、リアルタイム パフォーマンスを向上します。DeepStream は TAO Toolkit でトレーニングを行った SSD、 MaskRCNN、YOLOv3、RetinaNet などの検出モデルやセグメンテーション モデルのターンキー統合を提供します。



リファレンス アプリケーション

DeepStream SDK には、開発作業に役立つサンプル アプリケーションが 30 以上同梱されています。サンプルの多くには C/C++ 版、Python 版、Graph 版があり、NVIDIA Jetson と dGPU プラットフォーム上で実行できます。リファレンス アプリケーションは、DeepStream プラグインの機能の学習や、カスタム ビジョン AI アプリケーション開発のテンプレートや出発点として利用できます。


DeepStream SDK プラグイン


  • H.264 および H.265 ビデオ デコーディング
  • ストリームの集約とバッチ処理
  • 検出、分類、セグメンテーション用の TensorRT ベースの推論
  • オブジェクト追跡リファレンスの実装
  • オブジェクトの強調やテキストのオーバーレイのためのオンスクリーン ディスプレイ API
  • マルチソースから 2D グリッド配列へのフレーム レンダリング
  • Accelerated X11/EGL ベースのレンダリング
  • 関心領域 (ROI) に基づいたフィルタリング
  • JPEG デコーディング
  • スケーリング、フォーマット変換、回転
  • 360 度のカメラ入力の歪み補正
  • メタデータの生成とエンコーディング
  • クラウドへのメッセージング
  • 音声/ビデオ テンプレート プラグイン

お客様の声


業務の効率化と損失の削減は、多くの小売店が直面している大きな課題です。現在の大型スーパーマーケットは、店内に何台ものカメラを設置してこうした問題を軽減することが可能ですが、大量のビデオ ストリームをリアルタイムで処理するのは簡単ではありません。NVIDIA T4 GPU、DeepStream、TensorRT を活用した Malong の最先端のインテリジェント ビデオ分析 (IVA) ソリューションは、業界をリードする精度でスループットが 3 倍向上しており、小売業界の顧客が業績を大幅に向上できるように支援します。


Malong Technologies Malong

世界中の数十億台のカメラやセンサーで生成された大量のデータから実用的なインサイトを抽出するのは大仕事です。処理を行うためにこうしたデバイスのクラウドへの接続を維持するのは、セキュリティや規制、帯域の制限によって、コストがかさんだり、実行不可能になったりします。Microsoft Azure IoT Edge は DeepStream を使用して開発されたアプリケーションやサービスをエッジ デバイスにデプロイします。データをローカルで処理して、必要に応じてアラートを発信して自動的にアクションを実行したり、クラウドにアップロードしたりできます。Azure IoT Edge、NVIDIA DeepStream、Azure IoT Central を組み合わせることで、膨大な数のエッジ デバイスに対するデバイス管理、監視、カスタム ビジネス ロジックの実装を行い、リアルタイムのインサイトの取得とデプロイの簡素化を実現します。

マイクロソフト Microsoft

フルフィルメントとロジスティクス管理のリーダー企業として、SF Technology では、数万か所の拠点にある商品や車両を追跡する必要がありました。どの拠点でも車両管理、荷積み時間、その他の業務に関する詳細な分析が求められます。DeepStream と NVIDIA GPU を活用して AI Argus の効率を向上しました。このインテリジェント ビデオ分析製品はビデオに関するインサイトを提供し、32 のビデオ ストリームを同時に処理できます。また、処理するビデオ ストリーム数の増加が期待される次世代 GPU の導入も検討しています。

SF Technology SFExpress

当社はリアルタイム分析ベースの製品群を通じて商取引部門に AI と機械学習を導入しています。これらの製品は ATM コーナーの安全を確保し、店舗の出入口を入念に監視して商品の盗難を防ぐのに役立ちます。Jetson Nano 上で稼働する DeepStream ベースのソリューションに切り替えたことで 5 倍のストリーム密度を達成し、プラットフォームの効率化、ハードウェアやインストールに伴うコストの削減を実現しました。



Signatrix signatrix

よく寄せられる質問

DeepStream はクローズド ソースの SDK です。すべてのリファレンス アプリケーションといくつかのプラグインのソースを提供しています。

DeepStream SDK を使用してエンドツーエンドの AI アプリケーションを構築し、ビデオやセンサーのデータを分析できます。よくあるユース ケースとしては、小売分析、駐車管理、ロジスティクス管理、ロボティクス、光学検査、オペレーション管理などがあります。

はい。Triton Inference Server の統合によって実行可能になりました。また、DeepStream 6.0 アプリケーションでは、Triton Inference Server の独立/リモートのインスタンスと gPRC を使用して対話することができます。

DeepStream を使用した TAO Toolkit モデルのデプロイの詳細については、こちらをご覧ください。

DeepStream は YOLO、FasterRCNN、SSD、RetinaNet、MaskRCNN などのすぐに使用できる一般的なネットワークをいくつかサポートしています。

はい。DeepStream 5.1 は Ampere GPU でサポートされます。

はい。音声は DeepStream SDK 5.1 でサポートされます。使用を開始するには、ソフトウェアをダウンロードし、サンプル アプリを使用してください。

Latest Product News





Performance Optimization Video Tutorial

Learn how to optimize your DeepStream application using NVIDIA T4 or Jetson platforms for maximum performance.


TRY TODAY


Lexmark slashes AI Design Cycles by 25%

Lexmark uses pre-trained models, Transfer Learning Toolkit ,and DeepStream to reduce AI skills design cycle by 25%

 

LEARN MORE


INEX Revolutionizes Toll Road Systems

INEX leverages pre-trained models, Transfer Learning Toolkit ,and DeepStream to reduce development time and cost of toll road systems.


LEARN MORE


Nota Cuts Development Time by 50%

Nota improves real time traffic control systems using pre-trained models, Transfer Learning Toolkit ,and DeepStream.


LEARN MORE



Feature Explainer Blog

Dive deeper and learn how DeepStream 5.0 powerful features can help build your next AI app


LEARN MORE


Developer Webinar

NVIDIA expert will show you how to build state-of-the-art Vision AI apps in no time in this upcoming webinar.


REGISTER NOW




Free Online DLI Course

Learn how to use Jetson Nano and DeepStream to extract meaningful insights using IVA.


ENROLL NOW



Developer Projects

Explore innovative projects built by our developer community. Learn something new or build your own.


SUBMIT A PROJECT


DeepStream SDK を使用して高性能な IVA アプリやサービスを構築する


今すぐ始める