人工智能/深度学习

NVIDIA Clara 全息扫描和 NVIDIA Clara Holoscan 去除彩色多普勒成像中的混叠伪影

RSNA 2021 ,有专门的超声波成像跟踪,这是一种经济高效的方法,可以在不暴露于辐射或不需要注射和手术的情况下观察患者体内的情况。

超声成像通常由训练有素的超声学家完成,需要特殊的专业知识来解释。探头是一个小型传感器,既可以将声波传输到人体内,也可以记录回响的声波。它被放置在皮肤上,当它移动时,波从你的血细胞、器官和其他身体部位反弹,然后回到设备。然后,计算机将所有的声波转换成运动图像,你可以在屏幕上看到它们。

加拿大滑铁卢大学的 LITMUS 组(医学超声创新技术实验室)正在努力使超声彩色多普勒成像( CDI )更容易可视化。他们使用了 NVIDIA Clara 全息扫描平台,包括 NVIDIA Clara AGX 开发工具包 NVIDIA Clara 全息扫描 SDK,以及前端 us4us ,以消除混叠瑕疵并将帧速率提高 12 倍 – 从 2 fps 增加到 30 fps 。

  • Clara Holoscan 是一个 AI 平台,具有强大的深度学习计算能力,能够以高帧速率运行模型。 Clara Holoscan SDK 旨在帮助创建人工智能管道,用于处理超声、视频和其他成像应用的实时医疗数据流。
  • Clara AGX 开发工具包结合了由 NVIDIA AGX Xavier SoC 控制的 NVIDIA RTX 6000 GPU 的电源,外部连接由两个 PCIe Gen4 x 8 插槽和一个带有 100 GbE 端口的 NVIDIA ConnectX-6 SmartNIC 提供。
Raw sensor data is copied to the GPU where a CUDA and TensorRT based framework is applied for AI based aliasing removal, which results in improved flow visualization in CDI.
图 1 。 Clara AGX 开发工具包和 us4us 前端上抗混叠 CDI 管道概述。

彩色多普勒成像

彩色多普勒成像( CDI )是一种观察动脉和静脉血流的无创方法。它被用来识别可能导致致命临床后果(如中风或心脏病发作)的动脉阻塞、血凝块或狭窄。这些阻塞可发生在身体的各种动脉中,并显著改变血液流动的特性。 CDI 可以捕获流量变化,并用于疾病状况的识别和监测。 CDI 也可用于检测动脉瘤,在动脉瘤中,肿胀的动脉壁也会影响血流。

图 2 显示了从颈动脉模型获得的典型 CDI 序列,其中血流从图像左侧进入,然后分支到上下分支。动脉中的流速以蓝色或红色阴影显示,这取决于其相对于探头的方向。周围的灰度图像显示了组织结构。 CDI 序列还显示了血流动力学在整个心动周期(通常不到一秒钟)中的变化。

Blood flow speed in the artery is shown using shades of blue and red, with red depicting flow going up towards the probe, and blue depicting flow going down, away from the probe. The brighter colors indicate faster flow according to the color scale on the bottom left. Tissue structures can be visualized using the surrounding gray-scale image, with bright regions indicating strong reflectors such as vessel walls.
图 2 。动脉分叉模型上的典型 CDI 序列

CDI 中的混叠问题

CDI 中一个反复出现的问题是存在所谓的阻碍血流可视化的 aliasing artifacts 。当血流超过 CDI 系统可测量的最大流速时,会出现混叠伪影。

例如,图 3 显示,上支路中的流速很快 ,超过了色标上的最大可测量流速( 25 cm / s )。因此,为该区域选择的颜色是从色标的另一端拾取的,并错误地指示流向相反的方向。最大可测量速度源于潜在的系统限制和成像考虑 .

混叠在弯曲的脉管系统(如分叉)和遇到大范围多向速度的情况下是最有问题的。在这种情况下, CDI 可能变得难以解释。

Blood flow speed in the upper branch exceeds the maximum measurable speed (25 cm/s) and wraps around from red to blue, incorrectly indicating that flow is going in the opposite direction.
图 3 。具有混叠伪影的动脉分叉模型上的 CDI 序列

新的基于深度学习的解决方案

LITMUS 小组设计了一种新的基于深度学习的解决方案,以解决 CDI 中股动脉分叉的这些混叠伪影。选择大腿股动脉分叉是因为其不同的流动特性,包括广泛的流动速度和多向流动。在外周动脉疾病的情况下,动脉可能是阻塞的部位,即使在健康的情况下,分叉处也容易出现混叠。

A pretrained U-Net convolutional neural network segments aliasing artifacts in Color Doppler images. The segmented artifacts are then removed by an adaptive phase unwrapping algorithm.
图 4 。 CDI 消除混叠管道概述

为了解决 CDI 中的混叠问题, LITMUS 小组设计了一个两步流程:

  • 使用卷积神经网络( CNN )模型分割 CDI 中的混叠伪影。
  • 分段的锯齿伪影随后通过自适应技术去除。

对于混叠分割,训练 U-Net CNN ,以使用通常在典型 CDI 管道中计算的多个相关超声特征检测混叠伪影,这些特征可以包含与混叠检测相关的特征。该网络在 1136 帧上进行训练,这些帧来自使用 us4us 超声前端采集的三个真实股动脉分叉。 CDI 中的混叠工件被手动标记以用于培训和验证。模型定义和训练在 TensorFlow 中完成。

然后通过自适应相位展开算法利用分割图,该算法根据流动连续性标准反转混叠伪影,从而实现平滑的无混叠流动轮廓。然后,在一次新采集的未观察到的股动脉分叉采集中对该框架进行了评估,结果表明该框架可处理多向和过度混叠。

该框架的计算要求很高,对于简单的消除混叠,每帧需要 500 毫秒以上,对于过度混叠的情况,甚至更慢。

Clara Holoscan 用于床边应用中的实时消除混叠

CDI 被广泛认为是一种护理点模式,可用于快速、即时地了解患者的血流状况。脱机处理会破坏 CDI 的这一功能,因此实时运行别名消除框架非常重要。

英伟达和 LITMUS 组合作加速去混叠框架,以实现在床边应用中使用 NVIDIA Clara HORSOCAN SDK 和英伟达 Clara AGX 开发者工具包的实时性能。

GPU 加速 CDI 平台在英伟达 Clara AGX 开发者工具包上使用了由 LITMUS 先前报告的基于 CUDA 的框架实现。有关更多信息,请参阅 活体超声彩色编码散斑成像实时复杂流动可视化平台

原始传感器数据被连续复制到英伟达 RTX 6000 GPU 中 Clara AGX开发工具包,其中定制的CUDA构建内核执行必要的图像形成处理。使用 API-ZDU-TENSRAIN 算法库对相位展开进行了加速,并使用CUK1-ZDU-Net算法对相位展开进行了加速。进一步的 CUDA 和OpenGL函数用于显示。结果是在 Clara AGX开发工具包上运行了一个完整的原始传感器数据到消除混叠CDI包,该包显示了实时性能。

图 5 显示了 Clara AGX 开发者工具包上的抗混叠 CDI 框架,该框架在实时模式下处理股骨分叉模型到抗混叠 CDI 的原始传感器数据。原始数据是使用 us4us 前端获取的,该前端使研究人员能够访问从探头到达的所有基本信号:

 (Left) screen recording of a conventional CDI processing pipeline showing aliasing in the bottom branch at systole. (Middle) The pre-trained U-Net can correctly segment the aliasing artifacts in a live pipeline. (Right) CDI with aliasing removed on the Clara AGX Developer kit using the deep-learning powered framework.
图 5 。 Clara AGX 开发工具包上抗混叠 CDI 平台的屏幕截图
  • Left: 使用常规处理管道获得混叠 CDI 序列。在收缩期(心动周期的峰值,冻结帧),血流正在远离探头,并且都应该是蓝色的。然而,在底部支管中,探头方向的流速超过了最大可测量流速,因此显示为红色/橙色阴影区域,错误地表明流速正在上升。
  • Middle: 在实时成像会话期间,通过集成 U-Net 模型获得混叠分割。您可以看到如何在现场正确捕获脉动帧中的锯齿伪影。
  • Right: CDI 序列消除了混叠。最大可测量速度增加,血流可视化更直观。

消除混叠模块的处理时间提高到 30 fps ,比之前的 2-2.5 fps 提高了 12 倍。在此基础上, CuPy 被用来制作原型,并获得快速的 GPU 加速度,提供中等~ 15 fps 的速度。

结论

英伟达集团的工作流程表明,英伟达 Clara AGX 开发工具包和 NVIDIA Clara HORSOCAN SDK 可以实时解决 CDI 中的混叠伪影。通过消除血流方向的模糊性,消除混叠使图像可视化和解释更加容易。这对弯曲的脉管系统产生了最大的影响,因为超声医生很难猜到血流方向。

有关更多信息,请参阅以下参考资料:

 

Tags