DeepStream SDK

ビジョン AI アプリケーションやサービスをすばやく開発してデプロイ。DeepStream は、オンプレミス、エッジ、クラウドにデプロイ可能な、マルチプラットフォーム対応のスケーラブルな TLS 暗号化セキュリティを提供します。

世界中に存在する数十億台のカメラやセンサーは大量のデータを取り込んでおり、ビジネスインサイトの創出、プロセスの効率化、収益源の改善に活用できます。交差点での渋滞の緩和、病院での健康と安全のモニタリング、顧客満足度向上のための店舗通路の調査、スポーツアナリティクス、工場での欠陥部品の検知など、どんな応用事例においても信頼できるリアルタイムのインテリジェントビデオ分析 (IVA) が求められます。

強力で柔軟な SDK

幅広い業界の多くのユースケースに適した統合 SDK です。

ローコードプログラミング

Graph Composer のシンプルかつ直感的な UI を使用して、優れたビジョン AI アプリケーションを作成できます。

リアルタイムのインサイト

エッジのマルチモーダルセンサーのリッチなデータを理解します。

マネージド AI サービス

Kubernetes を使用して AI サービスをクラウドネイティブのコンテナーにデプロイし、管理します。

TCO の削減

TAO Toolkit でトレーニングを行い、DeepStream でストリーム密度を高めます。

NVIDIA の DeepStream SDK は AI ベースのマルチセンサー処理やビデオ、音声、画像の理解のためのストリーミング分析ツールキットです。

DeepStream は IVA アプリやサービスを開発する ビジョン AI 開発者、ソフトウェアパートナー、スタートアップ、OEM 向けの製品です。

DeepStream は、ピクセルやセンサーデータから実用的なインサイトを導き出すエンドツーエンドのサービスやソリューションの開発プラットフォーム、NVIDIA Metropolis の不可欠な部分でもあります。

DeepStream を使用して精度の向上とリアルタイムパフォーマンスを達成

DeepStream はさまざまな種類の物体検出、画像分類、インスタンスのセグメンテーションベースの AI モデル向けに卓越したスループットを提供します。開発負荷を減らしてスループットを高めるために、TAO Toolkit の高精度の学習済みモデルを使用して、DeepStream でデプロイできます。下表はエンドツーエンドアプリケーションのデータの取り込みからデコーディング、画像処理、推論までのパフォーマンスを示しています。複数の 1080p/30fps ストリームを入力として受信します。Jetson Xavier NX と Jetson AGX Xavier の DLA 上で実行すると、他のタスクのために GPU が解放されます。

					Jetson Nano*	Jetson TX2*	Jetson Xavier NX			Jetson AGX Xavier			T4	A100
アプリケーション	モデル	推論の解像度	演算精度	モデルの精度	GPU (FPS*)	GPU (FPS)	GPU (FPS)	DLA1 (FPS)	DLA2 (FPS)	GPU (FPS)	DLA1 (FPS)	DLA2 (FPS)	GPU (FPS)	GPU (FPS)
人体検出	PeopleNet-ResNet34	960x544	INT8	84%	12	31	172	48	48	305	53	53	926	3345
車両検出	TrafficCamNet-ResNet18	960x544	INT8	84%	19	51	274	89	89	486	111	111	1353	3855
車両検出	DashCamNet-ResNet18	960x544	INT8	80%	18	46	261	91	91	460	116	116	1341	3870
顔検出	FaceDetect-IR-ResNet18	384x240	INT8	96%	101	276	1126	455	455	2007	624	624	2516	5578

表のデータの単位は FPS で、入力は 1080p/30fps です。バッチサイズは入力ストリーム数に相当し、表の FPS の合計を 30 で割った数値です。
* Jetson Nano と TX2 上での FP16 推論

DeepStream SDK を使用すれば、AI をストリーミングビデオに応用すると同時にビデオのデコード/エンコード、画像のスケーリングと変換、エッジからクラウドへの接続を最適化して、完全にエンドツーエンドのパフォーマンス最適化を実現できます。右のグラフは各 NVIDIA 製品の 1080p/30fps でのストリーム密度をまとめたものです。DeepStream を使用したパフォーマンスの詳細については、こちらの資料をご参照ください。

右のグラフは各 NVIDIA 製品の 1080p/30fps でのストリーム密度をまとめたものです。

パフォーマンスのベストプラクティスについては、こちらの動画チュートリアルをご覧ください。

DeepStream リファレンスアプリを使用して生成される数

DeepStream SDK を使用する理由

シームレスな開発

開発者は DeepStream を使用して AI ベースのビデオ解析、音声分析、画像分析のためのシームレスなストリーミングパイプラインを構築できます。C/C++ や Python での開発、または Graph Composer のローコードグラフィカルプログラミングの使用を開発者が柔軟に選べます。さまざまなハードウェアアクセラレーション対応プラグインや拡張機能が付属しています。

開発者や企業向けに開発された DeepStream は、最先端の SSD、YOLO、FasterRCNN、MaskRCNN など、人気の物体検出モデルやセグメンテーションモデルを広範にサポートします。また、カスタム関数やライブラリも統合できます。

Deepstream はすばやいプロトタイプ作成から本番レベルのソリューションまで柔軟に対応します。推論パスを選択することもできます。NVIDIA Triton Inference Serverにネイティブに統合し、PyTorch や TensorFlow などのネイティブフレームワークで推論モデルをデプロイ可能です。NVIDIA TensorRT の、マルチ GPU、マルチストリーム、バッチ処理のサポートのオプションを活用した高スループットの推論により、最高のパフォーマンスを達成できます。

ネイティブな推論サポートに加えて、DeepStream アプリケーションは gRPC を使用して Triton Inference Server の独立/リモートのインスタンスと対話できるため、分散型推論ソリューションを実装できます。

DeepStream 6.0 に新登場: Graph Composer でのローコードプログラミング

Graph Composer を使用すると、DeepStream の開発で優れたローコードのグラフィカルプログラミングができるようになります。シンプルかつ直感的なインターフェースで、複雑な処理パイプラインも簡単に作成でき、Container Builder を使用してすばやくデプロイできます。

Graph Composer は、DeepStream、GStreamer、プラットフォームプログラミングの知識のほとんどを抽出できるため、リアルタイムのマルチストリームビジョン AI アプリケーションの最新要件に対応した設計に最適です。

ユーザーはコードを作成する代わりに、拡張機能のライブラリをドラッグアンドドロップのインターフェースで構成し接続します。ユーザーは NVIDIA の各種ハードウェアプラットフォームに最適化された拡張機能リポジトリを使用するか、独自に作成します。

開発者は、複雑なパイプラインやアプリケーションをグラフィカルプログラミングですばやく構築可能

アプリとサービスの安全な管理

実世界の IVA アプリ/サービスのデプロイにおいて、アプリケーションのリモート管理と制御はきわめて重要です。DeepStream SDK はクラウドでもエッジでも実行できます。エッジとクラウド間の効果的な双方向メッセージング、セキュリティ、スマート記録、Over-the-Air での AI モデルの更新といった IoT の要件に対応します。

エッジとクラウド間の双方向のメッセージングにより、イベント記録、オペレーティングパラメータやアプリ構成の変更、システムログの要求のリモートトリガーといったユースケースで、細かくコントロールできます。
DeepStream アプリのスマート記録機能は、選択的な記録でエッジの貴重なディスク容量の使用を抑え、検索を高速化できます。クラウドからエッジへのメッセージングを使用してクラウドからすばやく記録を開始できます。
クラウドレジストリからアプリ全体または個別の AI モデルをシームレスに Over The Air (OTA) で更新し、ダウンタイムなしで正確性を継続的に向上します。
安全な IoT デバイス通信のために、DeepStream は SSL 証明書に基づいた双方向 TLS 認証と、公開鍵認証に基づいた暗号化通信を提供します。

DeepStream は Redis、Kafka、MQTT、AMQP との IoT 統合インターフェイスと、AWS IoT や Microsoft Azure IoT とのターンキー統合を提供します。

NVIDIA NGC コンテナーを使用して高性能の DeepStream クラウドネイティブアプリケーションを構築できます。DeepStream を使用すると、コンテナー化されたアプリを大規模にデプロイし、Kubernetes や Helm Charts で管理できます。

双方向 IoT メッセージング機能を使用して DeepStream を使用した特定のイベントの記録を開始

Transfer Learning Toolkit (TLT) & quality AI models

強力なエンドツーエンドの AI ソリューション

NVIDIA TAO Toolkit と運用品質のビジョン AI モデルでエンドツーエンドのビジョン AI ステムを構築し、DeepStream を使用してエッジにデプロイすることで、開発作業全体をスピードアップし、リアルタイムパフォーマンスを向上します。DeepStream は TAO Toolkit でトレーニングを行った SSD、 MaskRCNN、YOLOv3、RetinaNet などの検出モデルやセグメンテーションモデルのターンキー統合を提供します。

リファレンスアプリケーション

DeepStream SDK には、開発作業に役立つサンプルアプリケーションが 30 以上同梱されています。サンプルの多くには C/C++ 版、Python 版、Graph 版があり、NVIDIA Jetson と dGPU プラットフォーム上で実行できます。リファレンスアプリケーションは、DeepStream プラグインの機能の学習や、カスタムビジョン AI アプリケーション開発のテンプレートや出発点として利用できます。

DeepStream SDK プラグイン

H.264 および H.265 ビデオデコーディング
ストリームの集約とバッチ処理
検出、分類、セグメンテーション用の TensorRT ベースの推論
オブジェクト追跡リファレンスの実装

オブジェクトの強調やテキストのオーバーレイのためのオンスクリーンディスプレイ API
マルチソースから 2D グリッド配列へのフレームレンダリング
Accelerated X11/EGL ベースのレンダリング
関心領域 (ROI) に基づいたフィルタリング

JPEG デコーディング
スケーリング、フォーマット変換、回転
360 度のカメラ入力の歪み補正
メタデータの生成とエンコーディング
クラウドへのメッセージング
音声/ビデオテンプレートプラグイン

お客様の声

業務の効率化と損失の削減は、多くの小売店が直面している大きな課題です。現在の大型スーパーマーケットは、店内に何台ものカメラを設置してこうした問題を軽減することが可能ですが、大量のビデオストリームをリアルタイムで処理するのは簡単ではありません。NVIDIA T4 GPU、DeepStream、TensorRT を活用した Malong の最先端のインテリジェントビデオ分析 (IVA) ソリューションは、業界をリードする精度でスループットが 3 倍向上しており、小売業界の顧客が業績を大幅に向上できるように支援します。

Malong Technologies

世界中の数十億台のカメラやセンサーで生成された大量のデータから実用的なインサイトを抽出するのは大仕事です。処理を行うためにこうしたデバイスのクラウドへの接続を維持するのは、セキュリティや規制、帯域の制限によって、コストがかさんだり、実行不可能になったりします。Microsoft Azure IoT Edge は DeepStream を使用して開発されたアプリケーションやサービスをエッジデバイスにデプロイします。データをローカルで処理して、必要に応じてアラートを発信して自動的にアクションを実行したり、クラウドにアップロードしたりできます。Azure IoT Edge、NVIDIA DeepStream、Azure IoT Central を組み合わせることで、膨大な数のエッジデバイスに対するデバイス管理、監視、カスタムビジネスロジックの実装を行い、リアルタイムのインサイトの取得とデプロイの簡素化を実現します。
マイクロソフト

フルフィルメントとロジスティクス管理のリーダー企業として、SF Technology では、数万か所の拠点にある商品や車両を追跡する必要がありました。どの拠点でも車両管理、荷積み時間、その他の業務に関する詳細な分析が求められます。DeepStream と NVIDIA GPU を活用して AI Argus の効率を向上しました。このインテリジェントビデオ分析製品はビデオに関するインサイトを提供し、32 のビデオストリームを同時に処理できます。また、処理するビデオストリーム数の増加が期待される次世代 GPU の導入も検討しています。

SF Technology

当社はリアルタイム分析ベースの製品群を通じて商取引部門に AI と機械学習を導入しています。これらの製品は ATM コーナーの安全を確保し、店舗の出入口を入念に監視して商品の盗難を防ぐのに役立ちます。Jetson Nano 上で稼働する DeepStream ベースのソリューションに切り替えたことで 5 倍のストリーム密度を達成し、プラットフォームの効率化、ハードウェアやインストールに伴うコストの削減を実現しました。

Signatrix