8064
2021年4月10日-12日,吴文俊人工智能科学技术奖十周年颁奖盛典暨2020中国人工智能产业年会在北京和苏州同期圆满成功举办。中国科学院深圳先进技术研究院副研究员王珊珊受邀在苏州工业园区希尔顿酒店,2020中国人工智能产业年会—青年科学家前沿论坛上发表主题报告《深度学习多对比度快速磁共振成像与分析》。
以下为演讲实录:
磁共振现在临床基本上已经普及了,它不仅在临床上面,在科学研究上面也非常重要。相比X光、超声、核素,诺贝尔奖获得者瑞切尔曾经说过,基本上没有任何一种成像方式能够像它这样成像信息是最丰富的,从结构像到功能像再到新陈代谢。
但是现在为止它还是有两大问题,第一就是成像时间比较长,如果我们在医院扫描磁共振是排队最长的,可能等一两周,但是CT可能等一两天就可以了。另外对比度参数特别多,如果你扫磁共振,一个医生可以看到各种对比,T1、T2、PT,但是如果是CT超声,一两种模态就完了,对于同一个磁共振又特别多,为什么成像时间长,因为和成像原理有关的,采集的时候是一根线一根线采的,一般称之为TR时间。如果是256根线,采一根是800毫秒,光采一根就要3分钟,如果采T2就要更长时间,因为需要对比度更好,可能需要8分钟,采一个全脑就要半个小时,这个简直无法容忍。
传统的需要那么长时间,怎么办,就少采,就会带来一个问题,首先已知数少于未知数就是欠采样问题,再加上系统的不完美性可能是病态的,我们为了克服病态嵌定就需要一个知识,人工智能很多不能仅仅用数据追问。
我们重建的时候,一个提高性照比,或者一般是用数据拟合像加一个正则像做一个重建,传统里面这个方面做得很多的。这个里面主要是用了哪些呢?是利用了系数性和变换域,就是之前的一层变换,有低质信号包括字典学习。我们针对主要是字典学习,字典学习有一个好处,可以自适应的捕捉图样的结构。同时还可以在满足压缩感知,因为压缩感知2000年提出,基本上革新了信号处理界,可以从非常少的信号里面完美的重现磁共振。关键点就是怎么样系数表达,传统的方法做系数表达规模非常大,因为磁共振信号比较高维,维数比较高磁共振就比较慢,因为解不是唯一的。所以很难准确地表示磁共振信号。我们提出了一个对偶空间字典学习理论,这应该是国际上唯一一篇在对偶,不在原空间进行字典学习,跑到对偶空间可以很好的利用数学完美的提供一个下确界,同时提升字典表示能力,因为不仅要在原空间表示信号,对偶空间还能表示,相当于双空间约束。这个结果和多通道的硬件进行了一个结合,我们是和国产第一代3T的磁共振进行的经济转让,将两到三倍的提数提升到6倍。提数完以后和积液和西门子等方法相比,我们的误差还是最小的,效果也比较好,这是软硬一体化的双重显现。当然还是有细节,我们不满意,因为我们要做血管,脑中风需要对一些微小细节能够看到,这个时候怎么样在不引入噪声,因为噪声和细节都是高频信息,非常相关,怎么样能够恢复这些图样细节,我们又提出了一个纹理迭代的算子,相当于是把迭代的算法进行网络展开,展开完了以后,我们就可以把这个细节转回来了,以前提数提到一定速度细节会丢掉,但是因为我们有细节自动捕捉的功能,就可以提升到10倍。
这个技术实现了亚毫米的精细结构成像,被医学物理著名期刊选为年度亮点文章,这个每年不到4%的入学率。量化指标提升15%以上,我们进一步用到了脑中风的早期检测,因为它是唯一的早期检测方法,实现了5分钟以内扫描,甚至分辨率达到国际领先的水平。
还有一个就是因为做技术在临床上用,临床永远是有更高的指标和要求。刚刚都是基于迭代,它是重建时间很长,这个时候我们在想是不是每次重建至少个人个体,但是其他人的脑子是不是有共性信息呢?我们研发了深度学习磁共振成像新框架,这个工作是被国际上8个国家的院士,在他们的论文会议期刊上称之为首创深度学习磁共振成像框架,而且其中最著名的是磁共振大咖对我们的评价,我们这个思路有望改革我们的成像科学。同时我们将这个技术应用在心脏最难扫的部位,因为心脏一直在掉,扫得慢慢可能就到下一桢了。传统的采集噪音非常大,临床上基本上医院扫是只要你扫CT,很少让你扫磁共振。
我们就搞的一个附属神经交叉域多空间的网络,这个工作就可以实现高清晰的心脏成像,而且同时做多对比度,前面都是单对比度,临床诊断不只是进行T1或者T2,这三个不同的一个人脑不同对比度的呈现,我们又提出了一个多对比度自学习的深度学习网络模型,可以同时申请三个对比度的成像。相比传统的方法,精度还有质量也得到了很多的提高。
做完成像以后很自然的一个问题,临床医生会问,这个分析起来难不难,能满足临床吗?满足临床医生在分析数据的时候,做的实验,说我们可以加到成像端,分析的时候又遇到一个问题,参数量这么多,不可能去做大规模病理分析的时候让人做,就需要我们用人工智能的方法,但是磁共振有一个严重的问题,参数非常多,为了诊断所以微小病灶任何细节都很重要,我们为了做微小病灶的分割,最鲁棒的网络是Unet(音),这个在圈里基本上是一个神一样的存在,但是在我们做医学影像分割的时候,特别是脑中风微小病灶做发现的时候这个就不够了。针对这个问题,我们做了一个跨尺度的上下文语意推理的深度学习影像分割的方法,这个方法是利用不同的感受做了ASPP,这样就可以把大小病灶全部涵盖。同时我们也做了低层网络,这样可以把一些特征进行重复利用。这个效果不管是大病灶小病灶精度都是最高的。
这个东西拿给医生,医院还是不买账,因为这个效果的提升是因为参数量非常大,是用了很大的一个计算算力做这么一件事情,不满足高效利用,所以我们在想,怎么样减小参数又不降低性能,因为性能在临床永远是第一位的,同时也要高效。这个时候我们又做了相当于是把冗余的特征删掉。同时我们引入了一个深度跳联可分离卷积,进一步把网络层数提高,但是参数量没有增加。这样我们参数量可以是在一半的情况下,效果还是很好。医生的要求永远是无止境的,把刚刚两个结果拿过去还是不满足,因为磁共振是3D信息,我们前面是两个2D的,理论上3G是2D的增量空间,所以2D的任何一个解都应该是3D的特殊解。所以3D的效果应该是比2D好的,但是我们的经验,我们拿了临床数据和网络来做的时候,发现并不是这样的,因为3D网络很容易过拟和拟数量不够,或者是3D网络计算算力要求这个网络经常会跑死,网络太大了,这个时候怎么样又有三维信息同时又有二维的高效,我们相当于做了一个2.5维的网络融合模型,搞了一个新的,效果也是比较好的。这个结果现在拿给医生,我们已经在临床上大规模的适用,也和联影的一些软件进行结合。
做完以后也是进行单对比度,真正临床的分析怎么样做多对比度的,我们在往多对比度上用的时候又遇到一个问题,因为一个人在扫三个对比度的时候,这个人可能脑子动了,所以三个对比度可能序列之间又是没有对齐,这个时候要做配准,怎么样把细节保持,又能把病灶做出来,所以我们又进一步做了无监督学习的配准的模型,一个很重要的点就是一个图像配到另外一个模态,有一个中间态双向都是可以配的,这样我们有一个形变场,同时也有一个仿设变场,这样两个场迭代,利用端到端的形式把磁共振物理知识放进去,我们进行一个配准。
这个方法因为有物理知识的加持,速度也是提升了10倍以上,对参数也不是很敏感,因为加入了一个磁共振物理的约束。做完约束以后,最根本的目的还是要能配准完以后能把病变分割出来,所以T1、T2灵敏度很强,一个板样性很强,我们又做了两个对比度的分割。这个时候我们模仿医生,因为你肯定不能漏,我们就把灵敏性很强的作为主模态,靶向性很强的作为辅模态,做了一个主辅模态的学习,这个给了我们一个很好的结果,可以看到主辅模态同时学,可以不断的让我们指向病灶,但是如果没有主辅模态学习,很可能就跑偏掉了,这个很好地把医生的知识用了进来。
分割的最终目的还是为了诊断,诊断是个分类,我们宫颈癌的数据看有没有脉管侵袭,肉眼来看,这个基本上没有办法分辨的,怎么办?我们要把特征给量化,除了原空间做到变换域,利用了传统的纹理分析,手工特征提取,再加上深度学习特征提取做分类,这个辅助诊断课题后面应该不会碰了,因为效果虽然是70%多,但是这个太依赖于数据了,这个辅助分析可以,辅助诊断没有专业的知识还是有一定的风险。但是我们确实发现了一个共性问题,利用多对比度的信息肯定比单对比度的磁共振的信息要好了,很多论文就发了单对比度的诊断已经足够了,我们经验是要有多对比度。很多文章发了,可能往往聚焦于肿瘤未来有没有愈后,会不会有病,但是我们的经验是不能只看肿瘤,还要看肿周才行。是两个专利转让,每一台3T磁共振大概是2000多万到3000万,是实现了全球大概装机是200多台,这基本上是打破了GPS对中国的垄断,这个基本上中国被卡脖子卡了好多年,3T高端磁共振医疗设备是没有的,这个还是为国产高端医疗做出了很大的自己应有的力量。
同时磁共振前期也是被海外垄断,基本上中国一直被他们广为诟病,但是我们的结果被哈佛大学官网邀请,同时加拿大顶会唯一邀请我们做了40分钟的报告。说明我们的磁共振还是比较受国际认可的。
未来工作,因为我们传统的成像流程就是采集、重建、分析、诊断,现在因为有人工智能的加持,希望看是不是能够改善这个工作流,为什么一定是要先拿到图像再做诊断呢?可不可以根据诊断的目的直接指导我们成像?同时指导我们的重建和分析,带有任务的成像,这是下一步的工作计划。之前我们的代码在没有转让之前所有的都是保密的,基本上没有开元,而且都是有专利保护。现在因为这个产品和联影一起走向全世界,我们现在很多代码也是刚刚开元,20多套,希望大家可以进行一个参考学习。