云社区 博客 博客详情
云社区 博客 博客详情

医学图像配准概览和深度学习图像配准前沿热点论文VoxelMorph

Wood 发表于 2020-06-10 11:38:51 06-10 11:38
Wood 发表于 2020-06-10 11:38:51 2020/06/10
0
2

【摘要】 图像配准是计算机视觉中的经典难题之一,在医学领域有重要的作用。本文简要介绍了其传统方法和前沿深度学习方法VoxelMorph。

排版说明(上图下文,而不是上文下图)

在医学影像处理领域,使用地比较多的图像配准是多模态图像配准和时间序列配准(也被称单模态多时相配准)。

医学图像配准在很多医学场景中都具有重要的用途,很多用途都是人眼很难精确办到的事情,是对辅助诊断等热门医疗AI的有效补充。

1.为了提升医疗AI辅助诊断的分类准确率,可以使用传统图像配准方法(比如基于SIFT算子的特征点匹配)进行图像的旋转与缩放校正,也可以使用在深度学习网络中额外接入一个Spatial Transform Network

2.为了进行定量的疗效评估(特别是科学研究和随访场景),需要将同一病人的不同时间点采集的医学影像进行对比,也需要将不同病人的医学影像进行对比。这时就需要进行标准化。这种标准化涉及到大量的柔性变化,就需要进行柔性图像配准。

3.辅助医生进行术前规划。常规的手术规划依赖于丰富经验的医师的脑海中的精确的三维重建,这种重建经验是稀缺的,且有较强的主观性。多模态影像的图像配准有利于医生进行精确的肿瘤切除、超声消融和靶向干预方案的实施。

4.辅助医生进行术中导航。以血管介入手术为例,为了了解导管的位置每时每刻在血管中的位置,医生需要穿着厚厚的铅板防护服给病人做手术。防护服不能阻挡所有X射线。累积的较大辐射量可能导致医生癌症、精子异常等问题。为了减少医生受到的X线辐射量,可以在术前进行3D血管影像的采集,在术中进行2D的实时血管造影影像采集,然后将2D图像配准到3D影像中,从而减少医生经验的依赖性。

图像配准是一个很难的研究方向,也就是说比较难出好的结果。因此,很多年轻学者不愿意选择图像配准进行深入研究。除此之外,金标准稀缺也制约了这个研究方向的发展。

图像配准有很多分类方式。医学图像配准中,刚性配准和柔性配准的分类方式比较常见。

由于深度学习近年来的迅猛发展,不少研究者也进行了基于深度学习的图像配准工作。传统图像配准方法中效果较好的方法迭代时间长。深度学习可以把迭代时间转移到模型训练时间中去,其实际推理时间可以大大少于传统方法的迭代时间。配准时间的大大缩减是深度学习图像配准的重要优点之一。


对于真实世界的图像来说,图像配准常常是没有金标准的。对于刚性配准,可以使用相关性(CC)作为评价指标。对于柔性配准,可以使用Dice作为评价指标(前提是数据集中有分割标注)。

由于图像配准数据常常是没有金标准的,所以深度学习的方法在无监督方向发展更快[1]。同时,无标注的医学原始数据量也大,更符合深度学习的大数据量要求。

VoxelMorph是近2年来效果较好的无监督深度学习医学图像变形配准方法之一[2]。

VoxelMorph使用有监督方式的配准效果更好,但只是小幅度提升而已[2]

可以调节VoxelMorph中的基本网络结构来分别提升配准时间和配准精度,但二者不容易得兼[2]

VoxelMorph在分割性能上并没有显著提高,但在耗时上让柔性配准进入秒级时代[2]。

但在更复杂的存在较大位移的形变场的情况下,配准难度大大提高,Voxelmorph的效果不佳。此时就需要降低配准任务难度。Recursive cascaded networks通过级联递归的方式将一个难任务拆分为多个容易任务Voxelmorph来配准,取得了不错的效果[3]

总得来说,无监督深度学习是医学图像配准的具有前景的方向之一,值得进一步探索。


登录后可下载附件,请登录或者注册

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:huaweicloud.bbs@huawei.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
评论文章 //点赞 收藏 2
点赞
分享文章到微博
分享文章到朋友圈

评论 (0)


0/1000
评论

登录后可评论,请 登录注册

评论

您还没有写博客的权限!

温馨提示

您确认删除评论吗?

确定
取消
温馨提示

您确认删除评论吗?

删除操作无法恢复,请谨慎操作。

确定
取消
温馨提示

您确认删除博客吗?

确定
取消

确认删除

您确认删除博客吗?

确认删除

您确认删除评论吗?

温馨提示

登录超时或用户已下线,请重新登录!!!

确定
取消