计算机视觉/视频分析

用于医学图像分析的可视化基础模型

3D 医学图像的分析对于提高临床反应、疾病跟踪和患者的整体生存率至关重要。深度学习模型构成了现代 3D 医学表示学习的支柱,实现了对临床决策至关重要的精确空间上下文测量。这些 3D 表示对医学成像数据(例如 CT 或 MRI 扫描)的生理特性高度敏感。

医学图像分割是医学应用的一项关键视觉任务,是测量医学图像各个方面的定量工具。为了改进对这些图像的分析,基础模型的开发和应用在医学图像分析领域变得越来越重要。

什么是基础模型?

基础模型是最新一代人工智能神经网络,在广泛多样的数据集上进行训练,可用于广泛的任务或目标。

随着大型语言模型展示其处理一般任务的能力,视觉基础模型正在出现,以解决各种问题,包括分类、检测和分割。

基础模型可以用作强大的人工智能神经网络,用于分割医学图像中的不同目标。它为医学成像应用开辟了一个可能性的世界,增强了分割任务的有效性,并实现了更准确的测量。

医学图像分析面临的挑战

医学基础模型在医学图像分析中的应用提出了重大挑战。与一般的计算机视觉模型不同,医学图像应用程序通常需要高级领域知识。

传统上,研究机构仅依靠输入数据特征和靶标标签之间的关联,为脾脏或肿瘤等特定靶标创建了完全注释的数据集。处理多个目标更加困难,因为手动注释既费力又耗时。训练更大或多任务模型也越来越具有挑战性。

尽管最近取得了进展,但由于其异质性,在理解大型医学成像数据方面仍然存在一个长期存在的问题:

  • 医学体积数据通常具有极高的分辨率,因此需要大量的计算资源。
  • 当前的深度学习模型尚未有效地捕捉解剖变异性。
  • 医学成像数据的大规模性质使得学习鲁棒和高效的 3D 表示变得困难,尤其是在处理异构数据时。

然而,对高分辨率、高维和大规模医学体积数据的现代分析为加速发现和获得对人体功能、行为和疾病的创新见解提供了机会。

基础模型提供了解决异质变化的能力,这些变化使主题间和主题内差异的纠正变得复杂。人工智能有可能通过对大规模复杂数据进行更准确、更高效的分析,彻底改变医学成像。

医学视觉分割基础模型平台

MONAI 模型园 是一个用于托管医学视觉基础模型的平台。它包含一组使用 MONAI 框架开发的预训练模型,用于医学成像任务。

MONAI 模型动物园是一个公开可用的资源,为不同的医学成像任务(如分割、分类、配准和合成)提供了对各种预训练模型的访问。这些预训练的模型可以用作在新数据集上进行训练或针对特定应用进行微调的起点或基础模型。

MONAI 模型动物园旨在加速新的医学成像应用程序的开发,使研究人员和临床医生能够利用已有的模型并在此基础上进行构建。

全身 CT 分割

从单个模型中分割整个全身 CT 扫描是一项艰巨的任务。然而, MONAI 团队已经迎难而上。他们开发了从一个模型中分割所有 104 个解剖结构的模型:

  • 27 个器官
  • 59 块骨头
  • 10 块肌肉
  • 8 血管

MONAI 利用 totalSegmentator 团队发布的数据集进行了研究和基准测试,以实现快速推理。对于高分辨率 1 . 5 mm 模型,使用单个 NVIDIA V100 GPU 对所有 104 个结构的推断时间仅为 4 . 12 秒,而使用 CPU 的推断时间为 30 . 30 秒。这比原论文报道的单次 CT 扫描的推断时间(超过 1 分钟)有了显著改进。

要访问 MONAI 全身 CT 分割基础模型,请参阅 MONAI 模型园

欲了解更多有关全身 CT 扫描中所有解剖结构概述的信息,请参阅 TotalSegmentator: robust segmentation of 104 anatomical structures in CT images 白皮书。

3D Slicer user interface showing segmentations of a torso from multiple angles.
图 1 。在全身 CT 扫描中分割 104 个解剖结构

(资料来源:TotalSegmentator:CT图像中104个解剖结构的强健分割)

全脑 MRI 分割

全脑分割是医学图像分析中的一项关键技术,为从临床结构磁共振成像( MRI )中测量大脑区域提供了一种非侵入性手段。然而,由于人类大脑中有 130 多个子结构,分割大脑中的任何东西对 MRI 3D 分割来说都是一个艰巨的挑战。不幸的是,大脑的详细注释很少,这使得这项任务对医学成像界来说更加具有挑战性。

为了解决这个问题, MONAI 团队与范德比尔特大学合作开发了一种深度学习模型,该模型可以同时分割所有 133 个大脑结构。使用 3D 切片器, MONAI 模型可以在 2 . 0 秒内推断出整个大脑。 MONAI 全脑 MRI 分割模型代表了医学成像研究的一个有前途的发展,为提高临床环境中大脑测量的准确性提供了宝贵的资源。

访问 MONAI 模型园,查看MONAI 全脑 MRI 分割基础模型

3D Slicer user interface showing segmentation of anatomical structures in a brain from multiple angles.
图 2 :脑 MRI T1 扫描中 133 个解剖结构的分割

如何访问医学成像基础模型

在医学图像分析中使用基础模型在提高诊断准确性和加强患者护理方面具有巨大潜力。然而,重要的是要认识到医学应用需要强大的领域知识。

基础模型具有处理大量数据和识别细微模式和异常的能力,已被证明是医学图像分析领域的宝贵工具。这些模型的开发和完善正在进行中,研究人员和从业者正在努力提高其准确性并扩大其能力。

尽管必须解决患者隐私和潜在偏见等挑战,但基础模型的使用已经证明了显著的好处。预计未来它将在医疗保健领域发挥更突出的作用。

随着研究人员、临床医生和用户继续关注基础模型, MONAI 模型动物园,一个托管预训练医学图像模型的平台,正在扩大其影响。微调预训练模型对医学图像分析的未来至关重要。

MONAI 模型动物园为各种医学成像任务提供了对各种预训练模型的访问,包括分割、分类、配准和合成。通过使用这些预先存在的模型作为起点,研究人员和临床医生可以加快新的医学成像应用程序的开发,节省时间和资源。

加入我们,今天就开始探索MONAI Model Zoo吧!

 

Tags