手術室では、手術用ビデオ ストリームの遅延や信頼性が、患者の転帰に大きな影響を与えることがあります。センサー入力からの超高速フレーム レートが実現する次世代 AI アプリケーションは、新次元のリアルタイムな認識と制御のしやすさを外科医に提供することができます。
開発者が手術ナビゲーション、画像誘導手術 (内視鏡などを利用)、医療ロボットといったユース ケース向けの医療機器にリアルタイムの AI 機能を組み込むには、複数のチャネルからの複合センサー データの低遅延処理に対応した AI パイプラインが必要です。
GTC 2022 で発表されたように、NVIDIA Clara Holoscan SDK v0.3 では、Emergent Vision Technologies 社の高速イーサネット対応カメラを採用したことにより、4K ビデオで 240Hz という超高速フレーム レートを実現できるようになりました。
これにより、開発者はより多くのセンサーからのデータを集約し、外科手術のガイダンスを提供する AI アプリケーションを構築することが可能になります。高速イーサネット接続されたセンサーが実現する高速データ転送により、AI パイプラインを加速させるためのさらに多くのツールが開発者の手に入ります。
フロントエンド センサーのリアルタイム AI 処理
NVIDIA Clara Holoscan は、CPU をバイパスする GPUDirect RDMA により、ConnectX SmartNIC と NVIDIA Rivermax SDK を通じた高速なセンサー入力を可能にします。これにより、センサーから AI コンピューティング システムへのデータの高速イーサネット出力を実現することができます。その結果、エッジ AI に卓越したパフォーマンスをもたらします。
この能力を実現するため、NVIDIA Clara Holoscan は、Emergent Vision Technologies 社の高速イーサネット対応カメラと統合されています。
従来の GStreamer と OpenGL をベースとする内視鏡パイプラインでは、1080p 60 Hz ストリームのエンドツーエンドで 220 ms の遅延が生じますが、Clara Holoscan を用いた高速パイプラインでは、4K 240 Hz ストリームのエンドツーエンドで遅延はわずか 10 ms となります。
NVIDIA IGX Orin 開発者キット 上で 4K 60Hz のデータを 50ms 未満でストリーミングした場合、チームは 15 本の AI ビデオ ストリームと 30 個のモデルを同時に実行することができます。
NVIDIA Rivermax SDK
NVIDIA Clara Holoscan に付属している NVIDIA Rivermax SDK は、GPU との間での直接データ転送を可能にします。ホスト メモリをバイパスし、ConnectX SmartNIC のオフロード機能を使用することで、クラス最高のスループットと遅延時間の短さを実現しながら、ストリーミング ワークロードの使用率を最小限に抑えることができます。NVIDIA Clara Holoscan は、Rivermax の機能性を活用することで、高帯域幅のネットワーク センサーにスケーラブルな接続性をもたらし、非常に高速なデータ転送をサポートします。
NVIDIA G-SYNC
NVIDIA G-SYNC は、ディスプレイのリフレッシュ レートを GPU に同期させることで、高いディスプレイ性能を実現します。これにより、画面のティアリングをなくし、表示の乱れや入力ラグを最小限に抑えることができます。その結果、AI による推論を非常に低い遅延で表示させることが可能になります。
NVIDIA Clara HoloViz
Clara HoloViz は、Holoscan のデータ可視化モジュールです。Clara HoloViz は、フレームのリアルタイム ストリームを、セグメンテーション マスク レイヤー、ジオメトリ レイヤー、GUI レイヤーなどのさまざまなレイヤーと合成します。
パフォーマンスを最大化するため、Clara HoloViz は、NVIDIA ドライバの一部としてインストール済みの Vulkan を利用します。
Clara HoloViz は、API に即時モードの設計パターンの概念を採用しています。アプリケーションがオブジェクトを作成し、保存することはありません。これにより、Holoscan アプリケーションの可視化を素早く構築し、変更を加える作業が容易になります。
開発者エクスペリエンスの向上
NVIDIA Clara Holoscan SDK v0.3 リリースは、開発エクスペリエンスを大きく改善します。まず、GXF 拡張機能を作成する新しい C++ API が追加されたことで、開発者が希望するアプリケーションを構築するための新たな経路が提供されます。第二に、x86 プロセッサのサポートにより、開発者は AI アプリケーションの開発を迅速に開始し、その後 IGX 開発キットに容易に展開することが可能になります。第三に、この最新バージョンでは、自社モデルの持ち込み (BYOM: Bring Your Own Model) のサポートが強化されました。
Holoscan C++ API
Holoscan C++ API では、YAML ファイルを記述する必要がなく、新しい便利な方法によって GXF ワークフローを構成できます。Holoscan C++ API では、さらに柔軟でスケーラブルなアプローチにより、アプリケーションを作成できます。そのまま GXF フレームワークの API の代わりとなるように設計されており、GXF コンポーネントに共通のインターフェイスを提供します。
アプリケーション: アプリケーションは、ストリーミング データを取得して処理します。アプリケーションはフラグメントの集合体で、各フラグメントは、Holoscan クラスターの物理ノード上で実行するように割り当てることができます。
フラグメント: フラグメントとは、アプリケーションの構成要素で、オペレーターの有向非巡回グラフ (DAG) です。フラグメントは、実行時に Holoscan クラスタの物理ノードに割り当てることができます。ランタイム実行は、フラグメント間の通信を管理します。フラグメントでは、オペレーター (グラフ ノード) はフロー (グラフ エッジ) で互いに接続されます。
オペレーター: オペレーターとは、このフレームワークにおける最も基本的な作業単位です。オペレーターは、入力ポートでストリーミング データを受け取り、それを処理した後、出力ポートの 1 つにパブリッシュします。GXF のコードレットは、このフレームワークではオペレーターに置き換わります。オペレーターは、GXF エンティティのレシーバーとトランスミッターをオペレーターの I/O ポートとしてカプセル化します。
リソース: システム メモリや GPU メモリ プールなど、オペレーターがジョブを実行するために必要なリソースのこと。リソースは、アプリケーションの初期化フェーズで割り当てられます。リソースは、GXF Memory Allocator のセマンティクスや、GXF のコンポーネント クラスから派生した他のコンポーネントのセマンティクスと一致します。
コンディション: コンディションとは、オペレーターを実行すべきかどうかを判断する際にランタイムで評価される述語です。これは GXF Scheduling Term クラスのセマンティクスと一致します。
ポート: 2 つのオペレーター間の相互作用点。オペレーターは、入力ポートでデータを取り込み、出力ポートでデータをパブリッシュします。GXF のレシーバー、トランスミッター、MessageRouter は、オペレーターの I/O ポートの概念に置き換わります。
エクセキューター: エクセキューターは、物理ノード上でのフラグメントの実行を管理します。このフレームワークでは、GXF スケジューラーを使用してアプリケーションを実行するデフォルトのエクセキューターが用意されています。
新しい C++ API の詳細については、SDK のドキュメントをご覧ください。新しい C++ API を利用した内視鏡ツール トラッキング向けの完全な AI アプリケーションの例も、公開ソース コード リポジトリでご覧いただけます。
x86 システムのサポート
NVIDIA Clara Holoscan SDK は、さまざまなハードウェア システムを想定して設計されています。x86 システムでの SDK の使用に加え、NVIDIA IGX DevKit と Clara AGX DevKit もサポートしています。x86 のサポートにより、DevKit を持っていない研究者や開発者も、x86 マシン上で Holoscan SDK を使用し、医療機器向けの AI アプリケーションを迅速に構築することが可能になります。
自社モデルの持ち込み
Holoscan SDK は、独自の AI アプリケーションの構築を即座に開始できるよう、各種の AI ライブラリと事前学習済み AI モデルを提供します。また、内視鏡や超音波のリファレンス アプリケーションも用意されており、自社モデルの持ち込み (BYOM: Bring Your Own Model) がサポートされています。
開発者は、SDK の一部として提供されるリファレンス アプリケーションに独自のモデルを落とし込むことにより、AI パイプラインを迅速に構築できます。最後に、SDK には、各種のセンサー I/O 統合オプションと、AI アプリケーションを本番展開向けに最適化するパフォーマンス ツールも含まれています。
ソフトウェア スタックの更新
NVIDIA Clara Holoscan SDK v0.3 リリースには、Tegra Board Support Package (BSP) バージョン 34.1.2 を実行する NVIDIA JetPack HP1 から Holopack 1.1 へのアップグレードと、GXF のバージョン 2.4.2 からバージョン 2.4.3 へのアップグレードも統合されています。
医療機器向け AI の構築を早速開始しましょう
Clara Holoscan は、AI モデルのトレーニングから、AI アプリケーションの検証と妥当性確認、そして最終的には商業生産向けの展開に至るまで、AI の開発や展開の効率化を支援します。
詳しい最新情報につきましては、GTC 2022 のセッション「Take Medical AI from Research to Clinical Production with MONAI and Clara Holoscan (MONAI と Clara Holoscan により、医療用 AI を研究から臨床現場へ)」をご視聴ください。
Clara Holoscan SDK の Web ページから、医療分野に特化したアクセラレーション ライブラリ、事前学習済み AI モデル、サンプル アプリケーション、ドキュメントなどにアクセスし、ソフトウェア定義の医療機器の構築を開始することができます。
また、NVIDIA LaunchPad を使用した無料ハンズオン ラボにお申し込みいただければ、Clara Holoscan で内視鏡や超音波の AI パイプラインの開発をいかに簡素化できるかを体験いただくことができます。
