DeepStream SDK
ビジョン AI アプリケーションやサービスをすばやく開発してデプロイ。DeepStream は、オンプレミス、エッジ、クラウドにデプロイ可能な、マルチプラットフォーム対応のスケーラブルな TLS 暗号化セキュリティを提供します。
世界中に存在する数十億台のカメラやセンサーは大量のデータを取り込んでおり、ビジネス インサイトの創出、プロセスの効率化、収益源の改善に活用できます。交差点での渋滞の緩和、病院での健康と安全のモニタリング、顧客満足度向上のための店舗通路の調査、スポーツ アナリティクス、工場での欠陥部品の検知など、どんな応用事例においても信頼できるリアルタイムのインテリジェント ビデオ分析 (IVA) が求められます。
強力で柔軟な SDK
幅広い業界の多くのユースケースに適した統合 SDK です。
ローコード プログラミング
Graph Composer のシンプルかつ直感的な UI を使用して、優れたビジョン AI アプリケーションを作成できます。
リアルタイムのインサイト
マネージド AI サービス
TCO の削減
NVIDIA の DeepStream SDK は AI ベースのマルチセンサー処理やビデオ、音声、画像の理解のためのストリーミング分析ツールキットです。
DeepStream は IVA アプリやサービスを開発するビジョン AI 開発者、ソフトウェア パートナー、スタートアップ、OEM 向けの製品です。
DeepStream を使用して精度の向上とリアルタイム パフォーマンスを達成
DeepStream はさまざまな種類の物体検出、画像分類、インスタンスのセグメンテーション ベースの AI モデル向けに卓越したスループットを提供します。開発負荷を減らしてスループットを高めるために、TAO Toolkit の高精度の学習済みモデルを使用して、DeepStream でデプロイできます。下表はエンドツーエンド アプリケーションのデータの取り込みからデコーディング、画像処理、推論までのパフォーマンスを示しています。複数の 1080p/30fps ストリームを入力として受信します。Jetson Xavier NX と Jetson AGX Xavier の DLA 上で実行すると、他のタスクのために GPU が解放されます。
(Version 2.5) | ||||||||||||||||||
LPDNet LPRNet | 640x480 96x48 | INT8 FP16 | ||||||||||||||||
192x256 | FP16 | |||||||||||||||||
N/A* = JetPack 5.0.1 Developer Preview では、数値は利用できません。
DeepStream SDK を使用すれば、AI をストリーミング ビデオに応用すると同時にビデオのデコード/エンコード、画像のスケーリングと変換、エッジからクラウドへの接続を最適化して、完全にエンドツーエンドのパフォーマンス最適化を実現できます。
DeepStream を使用したパフォーマンスの詳細については、こちらの資料をご参照ください。
右のグラフは各 NVIDIA 製品の 1080p/30fps でのストリーム密度をまとめたものです。
パフォーマンスのベスト プラクティスについては、こちらの動画チュートリアルをご覧ください。
DeepStream SDK を使用する理由
シームレスな開発
開発者は DeepStream を使用して AI ベースのビデオ解析、音声分析、画像分析のためのシームレスなストリーミング パイプラインを構築できます。C/C++ や Python での開発、または Graph Composer のローコード グラフィカル プログラミングの使用を開発者が柔軟に選べます。さまざまなハードウェア アクセラレーション対応プラグインや拡張機能が付属しています。
開発者や企業向けに開発された DeepStream は、最先端の SSD、YOLO、FasterRCNN、MaskRCNN など、人気の物体検出モデルやセグメンテーション モデルを広範にサポートします。また、カスタム関数やライブラリも統合できます。
Deepstream はすばやいプロトタイプ作成から本番レベルのソリューションまで柔軟に対応します。推論パスを選択することもできます。NVIDIA Triton Inference Serverにネイティブに統合し、PyTorch や TensorFlow などのネイティブ フレームワークで推論モデルをデプロイ可能です。NVIDIA TensorRT の、マルチ GPU、マルチストリーム、バッチ処理のサポートのオプションを活用した高スループットの推論により、最高のパフォーマンスを達成できます。
ネイティブな推論サポートに加えて、DeepStream アプリケーションは gRPC を使用して Triton Inference Server の独立/リモートのインスタンスと対話できるため、分散型推論ソリューションを実装できます。
Graph Composer でのローコード プログラミング
Graph Composer を使用すると、DeepStream の開発で優れたローコードのグラフィカル プログラミングができるようになります。シンプルかつ直感的なインターフェースで、複雑な処理パイプラインも簡単に作成でき、Container Builder を使用してすばやくデプロイできます。
Graph Composer は、DeepStream、GStreamer、プラットフォーム プログラミングの知識のほとんどを抽出できるため、リアルタイムのマルチストリーム ビジョン AI アプリケーションの最新要件に対応した設計に最適です。
ユーザーはコードを作成する代わりに、拡張機能のライブラリをドラッグアンドドロップのインターフェースで構成し接続します。ユーザーは NVIDIA の各種ハードウェア プラットフォームに最適化された拡張機能リポジトリを使用するか、独自に作成します。
アプリとサービスの安全な管理
実世界の IVA アプリ/サービスのデプロイにおいて、アプリケーションのリモート管理と制御はきわめて重要です。DeepStream SDK はクラウドでもエッジでも実行できます。エッジとクラウド間の効果的な双方向メッセージング、セキュリティ、スマート記録、Over-the-Air での AI モデルの更新といった IoT の要件に対応します。
- エッジとクラウド間の双方向のメッセージングにより、イベント記録、オペレーティング パラメータやアプリ構成の変更、システム ログの要求のリモート トリガーといったユースケースで、細かくコントロールできます。
- DeepStream アプリのスマート記録機能は、選択的な記録でエッジの貴重なディスク容量の使用を抑え、検索を高速化できます。クラウドからエッジへのメッセージングを使用してクラウドからすばやく記録を開始できます。
- クラウド レジストリからアプリ全体または個別の AI モデルをシームレスに Over The Air (OTA) で更新し、ダウンタイムなしで正確性を継続的に向上します。
- 安全な IoT デバイス通信のために、DeepStream は SSL 証明書に基づいた双方向 TLS 認証と、公開鍵認証に基づいた暗号化通信を提供します。
DeepStream は Redis、Kafka、MQTT、AMQP との IoT 統合インターフェイスと、AWS IoT や Microsoft Azure IoT とのターンキー統合を提供します。
NVIDIA NGC コンテナーを使用して高性能の DeepStream クラウド ネイティブ アプリケーションを構築できます。DeepStream を使用すると、コンテナー化されたアプリを大規模にデプロイし、Kubernetes や Helm Charts で管理できます。
強力なエンドツーエンドの AI ソリューション
NVIDIA TAO Toolkit と運用品質のビジョン AI モデルでエンドツーエンドのビジョン AI ステムを構築し、DeepStream を使用してエッジにデプロイすることで、開発作業全体をスピードアップし、リアルタイム パフォーマンスを向上します。DeepStream は TAO Toolkit でトレーニングを行った SSD、 MaskRCNN、YOLOv3、RetinaNet などの検出モデルやセグメンテーション モデルのターンキー統合を提供します。
リファレンス アプリケーション
DeepStream SDK には、開発作業に役立つサンプル アプリケーションが 30 以上同梱されています。サンプルの多くには C/C++ 版、Python 版、Graph 版があり、NVIDIA Jetson と dGPU プラットフォーム上で実行できます。リファレンス アプリケーションは、DeepStream プラグインの機能の学習や、カスタム ビジョン AI アプリケーション開発のテンプレートや出発点として利用できます。
DeepStream SDK プラグイン
- ステレオカメラのサポート
- カスタム後処理
- メタデータのシリアル化/逆シリアル化
- H.264およびH.265ビデオデコード
- ストリームの集約とバッチ処理
- 検出、分類、およびセグメンテーションのためのTensorRTベースの推論
- オブジェクト トラッキング リファレンス実装
- オブジェクトとテキストオーバーレイを強調表示するためのオンスクリーン ディスプレイ API
- マルチソースから 2D グリッド配列へのフレームレンダリング
- Accelarated X11/EGL ベースのレンダリング
- 関心領域（ROI）に基づくフィルタリング
- JPEGデコード
- スケーリング、フォーマット変換、およびローテーション
- 360度カメラの入力歪み補正
- メタデータ生成とエンコーディング
- クラウドへのメッセージング
- オーディオ/ビデオテンプレートプラグイン
お客様の声
業務の効率化と損失の削減は、多くの小売店が直面している大きな課題です。現在の大型スーパーマーケットは、店内に何台ものカメラを設置してこうした問題を軽減することが可能ですが、大量のビデオ ストリームをリアルタイムで処理するのは簡単ではありません。NVIDIA T4 GPU、DeepStream、TensorRT を活用した Malong の最先端のインテリジェント ビデオ分析 (IVA) ソリューションは、業界をリードする精度でスループットが 3 倍向上しており、小売業界の顧客が業績を大幅に向上できるように支援します。
Malong Technologies
世界中の数十億台のカメラやセンサーで生成された大量のデータから実用的なインサイトを抽出するのは大仕事です。処理を行うためにこうしたデバイスのクラウドへの接続を維持するのは、セキュリティや規制、帯域の制限によって、コストがかさんだり、実行不可能になったりします。Microsoft Azure IoT Edge は DeepStream を使用して開発されたアプリケーションやサービスをエッジ デバイスにデプロイします。データをローカルで処理して、必要に応じてアラートを発信して自動的にアクションを実行したり、クラウドにアップロードしたりできます。Azure IoT Edge、NVIDIA DeepStream、Azure IoT Central を組み合わせることで、膨大な数のエッジ デバイスに対するデバイス管理、監視、カスタム ビジネス ロジックの実装を行い、リアルタイムのインサイトの取得とデプロイの簡素化を実現します。
マイクロソフト
フルフィルメントとロジスティクス管理のリーダー企業として、SF Technology では、数万か所の拠点にある商品や車両を追跡する必要がありました。どの拠点でも車両管理、荷積み時間、その他の業務に関する詳細な分析が求められます。DeepStream と NVIDIA GPU を活用して AI Argus の効率を向上しました。このインテリジェント ビデオ分析製品はビデオに関するインサイトを提供し、32 のビデオ ストリームを同時に処理できます。また、処理するビデオ ストリーム数の増加が期待される次世代 GPU の導入も検討しています。
SF Technology
当社はリアルタイム分析ベースの製品群を通じて商取引部門に AI と機械学習を導入しています。これらの製品は ATM コーナーの安全を確保し、店舗の出入口を入念に監視して商品の盗難を防ぐのに役立ちます。Jetson Nano 上で稼働する DeepStream ベースのソリューションに切り替えたことで 5 倍のストリーム密度を達成し、プラットフォームの効率化、ハードウェアやインストールに伴うコストの削減を実現しました。
Signatrix
よく寄せられる質問
DeepStream はクローズド ソースの SDK です。すべてのリファレンス アプリケーションといくつかのプラグインのソースは提供しています。
DeepStream SDK を使用してエンドツーエンドの AI アプリケーションを構築し、ビデオやセンサーのデータを分析できます。よくあるユース ケースとしては、小売分析、駐車管理、ロジスティクス管理、ロボティクス、光学検査、オペレーション管理などがあります。
はい。Triton Inference Server の統合によって実行可能になりました。また、DeepStream 6.0 アプリケーションでは、Triton Inference Server の独立/リモートのインスタンスと gPRC を使用して対話することができます。
DeepStream を使用した TAO Toolkit モデルのデプロイの詳細については、こちらをご覧ください。
DeepStream は YOLO、FasterRCNN、SSD、RetinaNet、MaskRCNN などのすぐに使用できる一般的なネットワークをいくつかサポートしています。
はい。DeepStream 5.1 は Ampere GPU でサポートされます。
はい。音声は DeepStream SDK 5.1 でサポートされます。使用を開始するには、ソフトウェアをダウンロードし、サンプル アプリを使用してください。