次期バージョンの NVIDIA DeepStream SDK 6.0 は充実した生産性向上機能とドラッグアンドドロップの新しい開発環境を提供します。

アーリーアクセスプログラムの申し込みを受け付けています。定員がございますので、詳細をご確認のうえ、お早めにお申し込みください。

DeepStream SDK

AI を活用した インテリジェントビデオ分析アプリやサービスを開発してデプロイしましょう。DeepStream は TLS セキュリティを備えたマルチプラットフォーム対応のスケーラブルなフレームワークを提供し、エッジにデプロイしてクラウドに接続できます。

今すぐ始める

世界中に存在する数十億台のカメラやセンサーは大量のデータを取り込んでおり、ビジネスインサイトの創出、プロセスの効率化、収益源の改善に活用できます。交差点での渋滞の緩和、病院での健康と安全のモニタリング、顧客満足度向上のための店舗通路の調査、スポーツアナリティクス、工場での欠陥部品の検知など、どんな応用事例においても信頼できるリアルタイムのインテリジェントビデオ分析 (IVA) が求められます。

強力で柔軟な SDK

幅広い業界の多くのユースケースに適した統合 SDK です。

リアルタイムのインサイト

エッジのマルチモーダルセンサーのリッチなデータを理解します。

マネージド AI サービス

Kubernetes を使用して AI サービスをクラウドネイティブのコンテナーにデプロイし、管理します。

TCO の削減

Transfer Learning Toolkit でトレーニングを行い、DeepStream を使用してストリーム密度を向上させます。

NVIDIA の DeepStream SDK は AI ベースのマルチセンサー処理やビデオ、音声、画像の理解のためのストリーミング分析ツールキットです。

DeepStream は IVA アプリやサービスを開発する ビジョン AI 開発者、ソフトウェアパートナー、スタートアップ、OEM 向けの製品です。

DeepStream は、ピクセルやセンサーデータから実用的なインサイトを導き出すエンドツーエンドのサービスやソリューションの開発プラットフォーム、NVIDIA Metropolis の不可欠な部分でもあります。

DeepStream を使用して精度の向上とリアルタイムパフォーマンスを達成

DeepStream はさまざまな種類の物体検出、画像分類、インスタンスのセグメンテーションベースの AI モデル向けに卓越したスループットを提供します。開発作業の負担を減らしてスループットを高めるために Transfer Learning Toolkit (TLT) の高精度のトレーニング済みモデルを使用し、DeepStream でデプロイできます。下表はエンドツーエンドアプリケーションのデータの取り込みからデコーディング、画像処理、推論までのパフォーマンスを示しています。複数の 1080p/30fps ストリームを入力として受信します。Jetson Xavier NX と Jetson AGX Xavier の DLA 上で実行すると、他のタスクのために GPU が解放されます。

					Jetson Nano*	Jetson TX2*	Jetson Xavier NX			Jetson AGX Xavier			T4	A100
アプリケーション	モデル	推論の解像度	演算精度	モデルの精度	GPU (FPS*)	GPU (FPS)	GPU (FPS)	DLA1 (FPS)	DLA2 (FPS)	GPU (FPS)	DLA1 (FPS)	DLA2 (FPS)	GPU (FPS)	GPU (FPS)
人体検出	PeopleNet-ResNet34	960x544	INT8	84%	11	28	168	54	54	292	70	70	890	3392
人体検出	PeopleNet-ResNet18	960x544	INT8	80%	14	35	218	72	72	395	97	97	1086	3841
車両検出	TrafficCamNet-ResNet18	960x544	INT8	84%	19	52	264	105	105	478	140	140	1358	4013
車両検出	DashCamNet-ResNet18	960x544	INT8	80%	18	46	254	100	100	453	133	133	1320	3993
顔検出	FaceDetect-IR-ResNet18	384x240	INT8	96%	101	275	1192	553	553	2010	754	754	2568	5549
ナンバープレート認識	TrafficCamNet LPDNet LPRNet NvDCF トラッカー	960x544 640x480 96x48	MIXED	84% 98% 97%	8	23	72	-	-	147	-	-	459	1070

表のデータの単位は FPS で、入力は 1080p/30fps です。バッチサイズは入力ストリーム数に相当し、表の FPS の合計を 30 で割った数値です。
* Jetson Nano と TX2 上での FP16 推論

DeepStream SDK を使用すれば、AI をストリーミングビデオに応用すると同時にビデオのデコード/エンコード、画像のスケーリングと変換、エッジからクラウドへの接続を最適化して、完全にエンドツーエンドのパフォーマンス最適化を実現できます。右のグラフは各 NVIDIA 製品の 1080p/30fps でのストリーム密度をまとめたものです。DeepStream を使用したパフォーマンスの詳細については、こちらの資料をご参照ください。

パフォーマンスのベストプラクティスについてはチュートリアル動画をご覧ください。

DeepStream リファレンスアプリを使用して生成される数

DeepStream SDK を使用する理由

シームレスな開発

開発者は DeepStream を使用して AI ベースのビデオ、音声、画像分析のためのシームレスなストリーミングパイプラインを構築できます。DeepStream は C/C++ または Python での開発を選択できるため、柔軟な開発が可能となります。DeepStream には各種ハードウェアアクセラレーションプラグインが付属します。プラグインの一覧については以下をご確認ください。

開発者と企業向けに開発された DeepStream は最先端の SSD、YOLO、FasterRCNN、MaskRCNN などの一般的な物体検出モデルやセグメンテーションモデルを広範な AI モデルでサポートします。また、DeepStream で OpenCV の関数やライブラリも統合できます。

DeepStream は実用水準のソリューションのプロトタイプをすばやく作成し、推論パスを選択できる柔軟性を提供します。Triton Inference Serverとのネイティブ統合により、PyTorch や TensorFlow などのネイティブフレームワークで推論モデルを実装したり、NVIDIA TensorRT でマルチ GPU、マルチストリーム、バッチ処理のサポートのオプションを活用して高スループットの推論を行い、最高のパフォーマンスを実現したりできます。

マネージド IVA アプリとサービス

実世界の IVA アプリ/サービスのデプロイにおいて、アプリケーションのリモート管理と制御はきわめて重要です。DeepStream SDK は任意のクラウドやエッジで実行でき、エッジとクラウド間の有効な双方向メッセージング、セキュリティ、スマート記録、Over the Air AI モデルの更新などの IoT の要件に対応する強力な SDK です。

エッジとクラウド間の双方向メッセージングにより、イベント記録、オペレーティングパラメータやアプリ構成の変更、システムログの要求のリモートトリガーといったユースケースで、制御を強化できます。
DeepStream アプリのスマート記録機能は、選択的な記録でエッジの貴重なディスク容量の使用を抑え、検索を高速化できます。クラウドからエッジへのメッセージングを使用してクラウドからすばやく記録を開始できます。
アプリ全体または個別の AI モデルをクラウドレジストリからシームレスに Over the Air (OTA) で更新して、ダウンタイムなしで正確性を継続的に向上します。
安全な IoT デバイス通信のために、DeepStream は SSL 証明書に基づいた双方向 TLS 認証と、公開鍵認証に基づいた暗号化通信を提供します。

DeepStream は Kafka、MQTT、AMQP との IoT 統合インターフェイスと、AWS IoT や Microsoft Azure IoT とのターンキー統合を提供します。

NVIDIA NGC コンテナーを使用して高性能の DeepStream クラウドネイティブアプリケーションを構築できます。DeepStream の使用により、Kubernetes や Helm Charts でコンテナー化されたアプリを大規模にデプロイし、管理できます。

双方向 IoT メッセージング機能を使用して DeepStream を使用した特定のイベントの記録を開始

強力なエンドツーエンドの AI ソリューション

NVIDIA Transfer Learning Toolkit (TLT) と運用品質のビジョン AI モデルでエンドツーエンドのビジョン AI システムを構築し、DeepStream を使用してエッジにデプロイすることで、開発作業全体をスピードアップし、リアルタイムパフォーマンスを向上します。DeepStream は SSD、MaskRCNN、YOLOv3、RetinaNet など TLT を使用してトレーニングを行った検出モデルやセグメンテーションモデルのターンキー統合を提供します。

DeepStream SDK プラグイン

H.264 および H.265 ビデオデコーディング
ストリームの集約とバッチ処理
検出、分類、セグメンテーション用の TensorRT ベースの推論
オブジェクト追跡リファレンスの実装

オブジェクトの強調やテキストのオーバーレイのためのオンスクリーンディスプレイ API
マルチソースから 2D グリッド配列へのフレームレンダリング
Accelerated X11/EGL ベースのレンダリング
関心領域 (ROI) に基づいたフィルタリング

JPEG デコーディング
スケーリング、フォーマット変換、回転
360 度のカメラ入力の歪み補正
メタデータの生成とエンコーディング
クラウドへのメッセージング
音声/ビデオテンプレートプラグイン

お客様の声

業務の効率化と損失の削減は、多くの小売店が直面している大きな課題です。現在の大型スーパーマーケットは、店内に何台ものカメラを設置してこうした問題を軽減することが可能ですが、大量のビデオストリームをリアルタイムで処理するのは簡単ではありません。NVIDIA T4 GPU、DeepStream、TensorRT を活用した Malong の最先端のインテリジェントビデオ分析 (IVA) ソリューションは、業界をリードする精度でスループットが 3 倍向上しており、小売業界の顧客が業績を大幅に向上できるように支援します。

Malong Technologies

世界中の数十億台のカメラやセンサーで生成された大量のデータから実用的なインサイトを抽出するのは大仕事です。処理を行うためにこうしたデバイスのクラウドへの接続を維持するのは、セキュリティや規制、帯域の制限によって、コストがかさんだり、実行不可能になったりします。Microsoft Azure IoT Edge は DeepStream を使用して開発されたアプリケーションやサービスをエッジデバイスにデプロイします。データをローカルで処理して、必要に応じてアラートを発信して自動的にアクションを実行したり、クラウドにアップロードしたりできます。Azure IoT Edge、NVIDIA DeepStream、Azure IoT Central を組み合わせることで、膨大な数のエッジデバイスに対するデバイス管理、監視、カスタムビジネスロジックの実装を行い、リアルタイムのインサイトの取得とデプロイの簡素化を実現します。
マイクロソフト

フルフィルメントとロジスティクス管理のリーダー企業として、SF Technology では、数万か所の拠点にある商品や車両を追跡する必要がありました。どの拠点でも車両管理、荷積み時間、その他の業務に関する詳細な分析が求められます。DeepStream と NVIDIA GPU を活用して AI Argus の効率を向上しました。このインテリジェントビデオ分析製品はビデオに関するインサイトを提供し、32 のビデオストリームを同時に処理できます。また、処理するビデオストリーム数の増加が期待される次世代 GPU の導入も検討しています。

SF Technology

当社はリアルタイム分析ベースの製品群を通じて商取引部門に AI と機械学習を導入しています。これらの製品は ATM コーナーの安全を確保し、店舗の出入口を入念に監視して商品の盗難を防ぐのに役立ちます。Jetson Nano 上で稼働する DeepStream ベースのソリューションに切り替えたことで 5 倍のストリーム密度を達成し、プラットフォームの効率化、ハードウェアやインストールに伴うコストの削減を実現しました。

Signatrix

よく寄せられる質問

DeepStream はオープンソースですか。

DeepStream はクローズドソースの SDK です。すべてのリファレンスアプリケーションといくつかのプラグインのソースを提供しています。

DeepStream SDK を使用してどんなアプリケーションをデプロイできますか。

DeepStream SDK を使用してエンドツーエンドの AI アプリケーションを構築し、ビデオやセンサーのデータを分析できます。よくあるユースケースとしては、小売分析、駐車管理、ロジスティクス管理、ロボティクス、光学検査、オペレーション管理などがあります。

DeepStream との互換性があるプラットフォームや OS はどれですか。

プラットフォームと OS の互換性をまとめた表をご確認ください。

DeepStream を使用してモデルを TensorFlow や PyTorch でネイティブに実行できますか。

はい。Triton Inference Server の統合で可能になります。Triton 統合はアルファ版の機能で、DeepStream SDK 5.0 開発者プレビューは一部の機能が制限されます。Triton は x86 で TensorFlow、TensorFlow-TensorRT、PyTorch、ONNX をサポートし、Jetson で Tensorflow と TensorFlow-TensorRT をサポートします。詳細は、リリースノートをご覧ください。