《深度学习多对比度快速磁共振成像与分析研究》

磁共振现在临床基本上已经普及了，它不仅在临床上面，在科学研究上面也非常重要。相比X光、超声、核素，诺贝尔奖获得者瑞切尔曾经说过，基本上没有任何一种成像方式能够像它这样成像信息是最丰富的，从结构像到功能像再到新陈代谢。

但是现在为止它还是有两大问题，第一就是成像时间比较长，如果我们在医院扫描磁共振是排队最长的，可能等一两周，但是CT可能等一两天就可以了。另外对比度参数特别多，如果你扫磁共振，一个医生可以看到各种对比，T1、T2、PT，但是如果是CT超声，一两种模态就完了，对于同一个磁共振又特别多，为什么成像时间长，因为和成像原理有关的，采集的时候是一根线一根线采的，一般称之为TR时间。如果是256根线，采一根是800毫秒，光采一根就要3分钟，如果采T2就要更长时间，因为需要对比度更好，可能需要8分钟，采一个全脑就要半个小时，这个简直无法容忍。

传统的需要那么长时间，怎么办，就少采，就会带来一个问题，首先已知数少于未知数就是欠采样问题，再加上系统的不完美性可能是病态的，我们为了克服病态嵌定就需要一个知识，人工智能很多不能仅仅用数据追问。

我们重建的时候，一个提高性照比，或者一般是用数据拟合像加一个正则像做一个重建，传统里面这个方面做得很多的。这个里面主要是用了哪些呢？是利用了系数性和变换域，就是之前的一层变换，有低质信号包括字典学习。我们针对主要是字典学习，字典学习有一个好处，可以自适应的捕捉图样的结构。同时还可以在满足压缩感知，因为压缩感知2000年提出，基本上革新了信号处理界，可以从非常少的信号里面完美的重现磁共振。关键点就是怎么样系数表达，传统的方法做系数表达规模非常大，因为磁共振信号比较高维，维数比较高磁共振就比较慢，因为解不是唯一的。所以很难准确地表示磁共振信号。我们提出了一个对偶空间字典学习理论，这应该是国际上唯一一篇在对偶，不在原空间进行字典学习，跑到对偶空间可以很好的利用数学完美的提供一个下确界，同时提升字典表示能力，因为不仅要在原空间表示信号，对偶空间还能表示，相当于双空间约束。这个结果和多通道的硬件进行了一个结合，我们是和国产第一代3T的磁共振进行的经济转让，将两到三倍的提数提升到6倍。提数完以后和积液和西门子等方法相比，我们的误差还是最小的，效果也比较好，这是软硬一体化的双重显现。当然还是有细节，我们不满意，因为我们要做血管，脑中风需要对一些微小细节能够看到，这个时候怎么样在不引入噪声，因为噪声和细节都是高频信息，非常相关，怎么样能够恢复这些图样细节，我们又提出了一个纹理迭代的算子，相当于是把迭代的算法进行网络展开，展开完了以后，我们就可以把这个细节转回来了，以前提数提到一定速度细节会丢掉，但是因为我们有细节自动捕捉的功能，就可以提升到10倍。

这个技术实现了亚毫米的精细结构成像，被医学物理著名期刊选为年度亮点文章，这个每年不到4%的入学率。量化指标提升15%以上，我们进一步用到了脑中风的早期检测，因为它是唯一的早期检测方法，实现了5分钟以内扫描，甚至分辨率达到国际领先的水平。

还有一个就是因为做技术在临床上用，临床永远是有更高的指标和要求。刚刚都是基于迭代，它是重建时间很长，这个时候我们在想是不是每次重建至少个人个体，但是其他人的脑子是不是有共性信息呢？我们研发了深度学习磁共振成像新框架，这个工作是被国际上8个国家的院士，在他们的论文会议期刊上称之为首创深度学习磁共振成像框架，而且其中最著名的是磁共振大咖对我们的评价，我们这个思路有望改革我们的成像科学。同时我们将这个技术应用在心脏最难扫的部位，因为心脏一直在掉，扫得慢慢可能就到下一桢了。传统的采集噪音非常大，临床上基本上医院扫是只要你扫CT，很少让你扫磁共振。

我们就搞的一个附属神经交叉域多空间的网络，这个工作就可以实现高清晰的心脏成像，而且同时做多对比度，前面都是单对比度，临床诊断不只是进行T1或者T2，这三个不同的一个人脑不同对比度的呈现，我们又提出了一个多对比度自学习的深度学习网络模型，可以同时申请三个对比度的成像。相比传统的方法，精度还有质量也得到了很多的提高。

做完成像以后很自然的一个问题，临床医生会问，这个分析起来难不难，能满足临床吗？满足临床医生在分析数据的时候，做的实验，说我们可以加到成像端，分析的时候又遇到一个问题，参数量这么多，不可能去做大规模病理分析的时候让人做，就需要我们用人工智能的方法，但是磁共振有一个严重的问题，参数非常多，为了诊断所以微小病灶任何细节都很重要，我们为了做微小病灶的分割，最鲁棒的网络是Unet（音），这个在圈里基本上是一个神一样的存在，但是在我们做医学影像分割的时候，特别是脑中风微小病灶做发现的时候这个就不够了。针对这个问题，我们做了一个跨尺度的上下文语意推理的深度学习影像分割的方法，这个方法是利用不同的感受做了ASPP，这样就可以把大小病灶全部涵盖。同时我们也做了低层网络，这样可以把一些特征进行重复利用。这个效果不管是大病灶小病灶精度都是最高的。

这个东西拿给医生，医院还是不买账，因为这个效果的提升是因为参数量非常大，是用了很大的一个计算算力做这么一件事情，不满足高效利用，所以我们在想，怎么样减小参数又不降低性能，因为性能在临床永远是第一位的，同时也要高效。这个时候我们又做了相当于是把冗余的特征删掉。同时我们引入了一个深度跳联可分离卷积，进一步把网络层数提高，但是参数量没有增加。这样我们参数量可以是在一半的情况下，效果还是很好。医生的要求永远是无止境的，把刚刚两个结果拿过去还是不满足，因为磁共振是3D信息，我们前面是两个2D的，理论上3G是2D的增量空间，所以2D的任何一个解都应该是3D的特殊解。所以3D的效果应该是比2D好的，但是我们的经验，我们拿了临床数据和网络来做的时候，发现并不是这样的，因为3D网络很容易过拟和拟数量不够，或者是3D网络计算算力要求这个网络经常会跑死，网络太大了，这个时候怎么样又有三维信息同时又有二维的高效，我们相当于做了一个2.5维的网络融合模型，搞了一个新的，效果也是比较好的。这个结果现在拿给医生，我们已经在临床上大规模的适用，也和联影的一些软件进行结合。

做完以后也是进行单对比度，真正临床的分析怎么样做多对比度的，我们在往多对比度上用的时候又遇到一个问题，因为一个人在扫三个对比度的时候，这个人可能脑子动了，所以三个对比度可能序列之间又是没有对齐，这个时候要做配准，怎么样把细节保持，又能把病灶做出来，所以我们又进一步做了无监督学习的配准的模型，一个很重要的点就是一个图像配到另外一个模态，有一个中间态双向都是可以配的，这样我们有一个形变场，同时也有一个仿设变场，这样两个场迭代，利用端到端的形式把磁共振物理知识放进去，我们进行一个配准。

这个方法因为有物理知识的加持，速度也是提升了10倍以上，对参数也不是很敏感，因为加入了一个磁共振物理的约束。做完约束以后，最根本的目的还是要能配准完以后能把病变分割出来，所以T1、T2灵敏度很强，一个板样性很强，我们又做了两个对比度的分割。这个时候我们模仿医生，因为你肯定不能漏，我们就把灵敏性很强的作为主模态，靶向性很强的作为辅模态，做了一个主辅模态的学习，这个给了我们一个很好的结果，可以看到主辅模态同时学，可以不断的让我们指向病灶，但是如果没有主辅模态学习，很可能就跑偏掉了，这个很好地把医生的知识用了进来。

分割的最终目的还是为了诊断，诊断是个分类，我们宫颈癌的数据看有没有脉管侵袭，肉眼来看，这个基本上没有办法分辨的，怎么办？我们要把特征给量化，除了原空间做到变换域，利用了传统的纹理分析，手工特征提取，再加上深度学习特征提取做分类，这个辅助诊断课题后面应该不会碰了，因为效果虽然是70%多，但是这个太依赖于数据了，这个辅助分析可以，辅助诊断没有专业的知识还是有一定的风险。但是我们确实发现了一个共性问题，利用多对比度的信息肯定比单对比度的磁共振的信息要好了，很多论文就发了单对比度的诊断已经足够了，我们经验是要有多对比度。很多文章发了，可能往往聚焦于肿瘤未来有没有愈后，会不会有病，但是我们的经验是不能只看肿瘤，还要看肿周才行。是两个专利转让，每一台3T磁共振大概是2000多万到3000万，是实现了全球大概装机是200多台，这基本上是打破了GPS对中国的垄断，这个基本上中国被卡脖子卡了好多年，3T高端磁共振医疗设备是没有的，这个还是为国产高端医疗做出了很大的自己应有的力量。

同时磁共振前期也是被海外垄断，基本上中国一直被他们广为诟病，但是我们的结果被哈佛大学官网邀请，同时加拿大顶会唯一邀请我们做了40分钟的报告。说明我们的磁共振还是比较受国际认可的。

未来工作，因为我们传统的成像流程就是采集、重建、分析、诊断，现在因为有人工智能的加持，希望看是不是能够改善这个工作流，为什么一定是要先拿到图像再做诊断呢？可不可以根据诊断的目的直接指导我们成像？同时指导我们的重建和分析，带有任务的成像，这是下一步的工作计划。之前我们的代码在没有转让之前所有的都是保密的，基本上没有开元，而且都是有专利保护。现在因为这个产品和联影一起走向全世界，我们现在很多代码也是刚刚开元，20多套，希望大家可以进行一个参考学习。