加州大学洛杉矶分校(UCLA)的研究人员开发了一种新的 AI 模型，该模型可以专业地分析疾病的 3D 医学图像，而所需的时间远低于人类临床专家所需的时间。
名为 SL I Vi T (SLice Integration by Vision Transformer) 的深度学习框架可分析来自不同图像模式（包括视网膜扫描、超声波视频、CT、MRI 等）的图像，识别潜在的疾病风险生物标志物。
领导这项研究的计算医学专家兼加州大学洛杉矶分校（UCLA）教授埃兰·哈尔珀林（Eran Halperin）博士表示，该模型在各种疾病中的准确性很高，优于许多现有的特定疾病基础模型。该模型采用了一种新的预训练和微调方法，依赖于可访问的大型公共数据集。因此，哈尔珀林博士认为可以相对较低的成本部署该模型来识别不同的疾病生物标志物，从而实现专家级医学成像分析的大众化。
研究人员使用 NVIDIA T4 GPUs 和 NVIDIA V100 Tensor Core GPUs ，以及 NVIDIA CUDA ，进行了研究。
目前，医学影像专家往往不堪重负。患者通常要等待数周才能获得 X 光、MRI 或 CT 扫描的评估结果，然后才能开始治疗。
SLIViT 的一个潜在优势在于，它能够以专业方式大规模分析患者数据，其专业知识也可以得到升级。例如，在开发新的医学成像技术后，可以使用新数据对模型进行微调，这些新数据可以被推出并用于未来的分析。
Halperin 指出，该模型也易于部署。特别是在医学影像专家稀缺的地方，未来该模型可能会对患者的治疗效果产生重大影响。
Halperin 博士表示，在 SLIViT 问世之前，以人类临床专家的级别评估大量扫描实际上是不可行的。借助 SLIViT，大规模、准确的分析成为现实。
Halperin 说：“该模型可以在识别疾病生物标志物方面产生显著的影响，而无需使用大量手动标注的图像。这些疾病生物标志物可以帮助我们了解患者的疾病轨迹。在未来，我们可以利用这些见解，根据通过 SLIVIT 发现的生物标志物为患者定制治疗方案，并希望对患者的生活产生显著的改善。”
根据加州大学洛杉矶分校（UCLA）研究人员在 《自然生物医学工程》（Nature Biomedical Engineering）期刊上发表的一篇论文的主要作者 Oren Avram 博士指出，这项研究揭示了两个惊人但相关的结果
首先，虽然该模型主要基于 2D 扫描数据集进行预训练，但它能准确识别人体器官 3D 扫描中的疾病生物标志。通常，用于分析 3D 图像的模型是在 3D 数据集上训练的。但是，3D 医疗数据的获取成本要高得多，因此比 2D 医疗数据要少得多且难以获取。
加州大学洛杉矶分校 (UCLA) 的研究人员发现，通过在 2D 扫描图像（更容易获得）上预训练模型，并在相对少量的 3D 扫描图像上对其进行微调，该模型的表现优于仅在 3D 扫描图像上训练的专业模型。
第二个意想不到的结果是，该模型在迁移学习方面表现得如何。它通过微调由来自不同模式和器官的图像组成的数据集，学会识别不同的疾病生物标志物。
Avram 说：“我们使用 2D 视网膜扫描——即您眼睛的图像——对模型进行训练，但随后使用肝脏的 MRI 对模型进行了微调，这似乎没有联系，因为它们是两个完全不同的器官和成像技术。”但我们了解到，视网膜和肝脏之间以及 OCT 和 MRI 之间存在一些共享的基本特征，这些特征可用于帮助模型进行下游学习，即使图像领域完全不同。”
阅读其他内容 新闻 来自加州大学洛杉矶分校关于 SLIViT 的文章。
请查看 SLIViT 论文： 通过使用 2D 扫描预训练的深度视觉模型，从体积医学扫描中准确预测疾病风险因素 。
在 GitHub 上访问模型。
