次期バージョンの NVIDIA DeepStream SDK 6.0 は充実した生産性向上機能とドラッグ アンド ドロップの新しい開発環境を提供します。

アーリー アクセス プログラムの申し込みを受け付けています。定員がございますので、詳細をご確認のうえ、お早めにお申し込みください

DeepStream SDK

AI を活用した インテリジェント ビデオ分析アプリやサービスを開発してデプロイしましょう。DeepStream は TLS セキュリティを備えたマルチプラットフォーム対応のスケーラブルなフレームワークを提供し、エッジにデプロイしてクラウドに接続できます。


今すぐ始める


世界中に存在する数十億台のカメラやセンサーは大量のデータを取り込んでおり、ビジネス インサイトの創出、プロセスの効率化、収益源の改善に活用できます。交差点での渋滞の緩和、病院での健康と安全のモニタリング、顧客満足度向上のための店舗通路の調査、スポーツ アナリティクス、工場での欠陥部品の検知など、どんな応用事例においても信頼できるリアルタイムのインテリジェント ビデオ分析 (IVA) が求められます。


強力で柔軟な SDK

幅広い業界の多くのユースケースに適した統合 SDK です。

リアルタイムのインサイト

エッジのマルチモーダル センサーのリッチなデータを理解します。

マネージド AI サービス

Kubernetes を使用して AI サービスをクラウド ネイティブのコンテナーにデプロイし、管理します。

TCO の削減

Transfer Learning Toolkit でトレーニングを行い、DeepStream を使用してストリーム密度を向上させます。



NVIDIA の DeepStream SDK は AI ベースのマルチセンサー処理やビデオ、音声、画像の理解のためのストリーミング分析ツールキットです。

DeepStream は IVA アプリやサービスを開発する ビジョン AI 開発者、ソフトウェア パートナー、スタートアップ、OEM 向けの製品です。


DeepStream は、ピクセルやセンサー データから実用的なインサイトを導き出すエンドツーエンドのサービスやソリューションの開発プラットフォーム、NVIDIA Metropolis の不可欠な部分でもあります。

DeepStream を使用して精度の向上とリアルタイム パフォーマンスを達成


DeepStream はさまざまな種類の物体検出、画像分類、インスタンスのセグメンテーション ベースの AI モデル向けに卓越したスループットを提供します。開発作業の負担を減らしてスループットを高めるために Transfer Learning Toolkit (TLT) の高精度のトレーニング済みモデルを使用し、DeepStream でデプロイできます。下表はエンドツーエンド アプリケーションのデータの取り込みからデコーディング、画像処理、推論までのパフォーマンスを示しています。複数の 1080p/30fps ストリームを入力として受信します。Jetson Xavier NX と Jetson AGX Xavier の DLA 上で実行すると、他のタスクのために GPU が解放されます。


Jetson Nano*
Jetson TX2*
Jetson Xavier NX
Jetson AGX Xavier
T4
A100
アプリケーション
モデル
推論の解像度
演算精度
モデルの精度
GPU (FPS*)
GPU (FPS)
GPU (FPS)
DLA1 (FPS)
DLA2 (FPS)
GPU (FPS)
DLA1 (FPS)
DLA2 (FPS)
GPU (FPS)
GPU (FPS)
人体検出
PeopleNet-ResNet34
960x544
INT8
84%
11
28
168
54
54
292
70
70
890
3392
人体検出
PeopleNet-ResNet18
960x544
INT8
80%
14
35
218
72
72
395
97
97
1086
3841
車両検出
TrafficCamNet-ResNet18
960x544
INT8
84%
19
52
264
105
105
478
140
140
1358
4013
車両検出
DashCamNet-ResNet18
960x544
INT8
80%
18
46
254
100
100
453
133
133
1320
3993
顔検出
FaceDetect-IR-ResNet18
384x240
INT8
96%
101
275
1192
553
553
2010
754
754
2568
5549
ナンバー プレート認識
TrafficCamNet
LPDNet
LPRNet
NvDCF トラッカー
960x544
640x480
96x48
MIXED
84%
98%
97%
8
23
72
-
-
147
-
-
459
1070
表のデータの単位は FPS で、入力は 1080p/30fps です。バッチ サイズは入力ストリーム数に相当し、表の FPS の合計を 30 で割った数値です。
* Jetson Nano と TX2 上での FP16 推論



DeepStream SDK を使用すれば、AI をストリーミング ビデオに応用すると同時にビデオのデコード/エンコード、画像のスケーリングと変換、エッジからクラウドへの接続を最適化して、完全にエンドツーエンドのパフォーマンス最適化を実現できます。右のグラフは各 NVIDIA 製品の 1080p/30fps でのストリーム密度をまとめたものです。DeepStream を使用したパフォーマンスの詳細については、こちらの資料をご参照ください。

パフォーマンスのベスト プラクティスについてはチュートリアル動画をご覧ください。

DeepStream リファレンス アプリを使用して生成される数



DeepStream SDK を使用する理由


シームレスな開発

開発者は DeepStream を使用して AI ベースのビデオ、音声、画像分析のためのシームレスなストリーミング パイプラインを構築できます。DeepStream は C/C++ または Python での開発を選択できるため、柔軟な開発が可能となります。DeepStream には各種ハードウェア アクセラレーション プラグインが付属します。プラグインの一覧については以下をご確認ください。

開発者と企業向けに開発された DeepStream は最先端の SSD、YOLO、FasterRCNN、MaskRCNN などの一般的な物体検出モデルやセグメンテーション モデルを広範な AI モデルでサポートします。また、DeepStream で OpenCV の関数やライブラリも統合できます。

DeepStream は実用水準のソリューションのプロトタイプをすばやく作成し、推論パスを選択できる柔軟性を提供します。Triton Inference Serverとのネイティブ統合により、PyTorch や TensorFlow などのネイティブ フレームワークで推論モデルを実装したり、NVIDIA TensorRT でマルチ GPU、マルチストリーム、バッチ処理のサポートのオプションを活用して高スループットの推論を行い、最高のパフォーマンスを実現したりできます。





マネージド IVA アプリとサービス

実世界の IVA アプリ/サービスのデプロイにおいて、アプリケーションのリモート管理と制御はきわめて重要です。DeepStream SDK は任意のクラウドやエッジで実行でき、エッジとクラウド間の有効な双方向メッセージング、セキュリティ、スマート記録、Over the Air AI モデルの更新などの IoT の要件に対応する強力な SDK です。

  • エッジとクラウド間の双方向メッセージングにより、イベント記録、オペレーティング パラメータやアプリ構成の変更、システム ログの要求のリモート トリガーといったユースケースで、制御を強化できます。
  • DeepStream アプリのスマート記録機能は、選択的な記録でエッジの貴重なディスク容量の使用を抑え、検索を高速化できます。クラウドからエッジへのメッセージングを使用してクラウドからすばやく記録を開始できます。
  • アプリ全体または個別の AI モデルをクラウド レジストリからシームレスに Over the Air (OTA) で更新して、ダウンタイムなしで正確性を継続的に向上します。
  • 安全な IoT デバイス通信のために、DeepStream は SSL 証明書に基づいた双方向 TLS 認証と、公開鍵認証に基づいた暗号化通信を提供します。

DeepStream は Kafka、MQTT、AMQP との IoT 統合インターフェイスと、AWS IoT や Microsoft Azure IoT とのターンキー統合を提供します。

NVIDIA NGC コンテナーを使用して高性能の DeepStream クラウド ネイティブ アプリケーションを構築できます。DeepStream の使用により、Kubernetes や Helm Charts でコンテナー化されたアプリを大規模にデプロイし、管理できます。





双方向 IoT メッセージング機能を使用して DeepStream を使用した特定のイベントの記録を開始






強力なエンドツーエンドの AI ソリューション

NVIDIA Transfer Learning Toolkit (TLT) と運用品質のビジョン AI モデルでエンドツーエンドのビジョン AI システムを構築し、DeepStream を使用してエッジにデプロイすることで、開発作業全体をスピードアップし、リアルタイム パフォーマンスを向上します。DeepStream は SSD、MaskRCNN、YOLOv3、RetinaNet など TLT を使用してトレーニングを行った検出モデルやセグメンテーション モデルのターンキー統合を提供します。



DeepStream SDK プラグイン


  • H.264 および H.265 ビデオ デコーディング
  • ストリームの集約とバッチ処理
  • 検出、分類、セグメンテーション用の TensorRT ベースの推論
  • オブジェクト追跡リファレンスの実装
  • オブジェクトの強調やテキストのオーバーレイのためのオンスクリーン ディスプレイ API
  • マルチソースから 2D グリッド配列へのフレーム レンダリング
  • Accelerated X11/EGL ベースのレンダリング
  • 関心領域 (ROI) に基づいたフィルタリング
  • JPEG デコーディング
  • スケーリング、フォーマット変換、回転
  • 360 度のカメラ入力の歪み補正
  • メタデータの生成とエンコーディング
  • クラウドへのメッセージング
  • 音声/ビデオ テンプレート プラグイン

お客様の声


業務の効率化と損失の削減は、多くの小売店が直面している大きな課題です。現在の大型スーパーマーケットは、店内に何台ものカメラを設置してこうした問題を軽減することが可能ですが、大量のビデオ ストリームをリアルタイムで処理するのは簡単ではありません。NVIDIA T4 GPU、DeepStream、TensorRT を活用した Malong の最先端のインテリジェント ビデオ分析 (IVA) ソリューションは、業界をリードする精度でスループットが 3 倍向上しており、小売業界の顧客が業績を大幅に向上できるように支援します。


Malong Technologies Malong

世界中の数十億台のカメラやセンサーで生成された大量のデータから実用的なインサイトを抽出するのは大仕事です。処理を行うためにこうしたデバイスのクラウドへの接続を維持するのは、セキュリティや規制、帯域の制限によって、コストがかさんだり、実行不可能になったりします。Microsoft Azure IoT Edge は DeepStream を使用して開発されたアプリケーションやサービスをエッジ デバイスにデプロイします。データをローカルで処理して、必要に応じてアラートを発信して自動的にアクションを実行したり、クラウドにアップロードしたりできます。Azure IoT Edge、NVIDIA DeepStream、Azure IoT Central を組み合わせることで、膨大な数のエッジ デバイスに対するデバイス管理、監視、カスタム ビジネス ロジックの実装を行い、リアルタイムのインサイトの取得とデプロイの簡素化を実現します。

マイクロソフト Microsoft

フルフィルメントとロジスティクス管理のリーダー企業として、SF Technology では、数万か所の拠点にある商品や車両を追跡する必要がありました。どの拠点でも車両管理、荷積み時間、その他の業務に関する詳細な分析が求められます。DeepStream と NVIDIA GPU を活用して AI Argus の効率を向上しました。このインテリジェント ビデオ分析製品はビデオに関するインサイトを提供し、32 のビデオ ストリームを同時に処理できます。また、処理するビデオ ストリーム数の増加が期待される次世代 GPU の導入も検討しています。

SF Technology SFExpress

当社はリアルタイム分析ベースの製品群を通じて商取引部門に AI と機械学習を導入しています。これらの製品は ATM コーナーの安全を確保し、店舗の出入口を入念に監視して商品の盗難を防ぐのに役立ちます。Jetson Nano 上で稼働する DeepStream ベースのソリューションに切り替えたことで 5 倍のストリーム密度を達成し、プラットフォームの効率化、ハードウェアやインストールに伴うコストの削減を実現しました。



Signatrix signatrix

よく寄せられる質問

DeepStream はクローズド ソースの SDK です。すべてのリファレンス アプリケーションといくつかのプラグインのソースを提供しています。

DeepStream SDK を使用してエンドツーエンドの AI アプリケーションを構築し、ビデオやセンサーのデータを分析できます。よくあるユース ケースとしては、小売分析、駐車管理、ロジスティクス管理、ロボティクス、光学検査、オペレーション管理などがあります。

はい。Triton Inference Server の統合で可能になります。Triton 統合はアルファ版の機能で、DeepStream SDK 5.0 開発者プレビューは一部の機能が制限されます。Triton は x86 で TensorFlow、TensorFlow-TensorRT、PyTorch、ONNX をサポートし、Jetson で Tensorflow と TensorFlow-TensorRT をサポートします。詳細は、リリース ノートをご覧ください。

DeepStream を使用した TLT モデルのデプロイの詳細については、こちらをご覧ください。

DeepStream は YOLO、FasterRCNN、SSD、RetinaNet、MaskRCNN などのすぐに使用できる一般的なネットワークをいくつかサポートしています。

はい。DeepStream 5.1 は Ampere GPU でサポートされます。

はい。音声は DeepStream SDK 5.1 でサポートされます。使用を開始するには、ソフトウェアをダウンロードし、サンプル アプリを使用してください。

Latest Product News





Performance Optimization Video Tutorial

Learn how to optimize your DeepStream application using NVIDIA T4 or Jetson platforms for maximum performance.


TRY TODAY


Lexmark slashes AI Design Cycles by 25%

Lexmark uses pre-trained models, Transfer Learning Toolkit ,and DeepStream to reduce AI skills design cycle by 25%

 

LEARN MORE


INEX Revolutionizes Toll Road Systems

INEX leverages pre-trained models, Transfer Learning Toolkit ,and DeepStream to reduce development time and cost of toll road systems.


LEARN MORE


Nota Cuts Development Time by 50%

Nota improves real time traffic control systems using pre-trained models, Transfer Learning Toolkit ,and DeepStream.


LEARN MORE



Feature Explainer Blog

Dive deeper and learn how DeepStream 5.0 powerful features can help build your next AI app


LEARN MORE


Developer Webinar

NVIDIA expert will show you how to build state-of-the-art Vision AI apps in no time in this upcoming webinar.


REGISTER NOW




Free Online DLI Course

Learn how to use Jetson Nano and DeepStream to extract meaningful insights using IVA.


ENROLL NOW



Developer Projects

Explore innovative projects built by our developer community. Learn something new or build your own.


SUBMIT A PROJECT


DeepStream SDK を使用して高性能な IVA アプリやサービスを構築する


今すぐ始める