近年来,脑成像模态迁移技术在医学成像领域变得流行,在脑疾病的临床诊断和病情检测中起着非常重要的作用。例如脑图像重建、脑图像降噪、脑图像分割。脑成像模态迁移技术旨在学习不同模态脑图像之间的映射关系,实现一种模态脑图像到另一种模态脑图像的转换,从而解决某些成像技术不可用或者某种模态数据不完整的情况。而多种模态数据的获得,也为临床诊断医生提供多样性的信息。常用的脑成像模态迁移方法分为基于监督学习的方法和基于无监督学习的方法。基于监督学习的方法依赖于大量具有标注的成对训练数据,而这些带有标签信息的成对数据则需要专家进行人工获取及标注,一般很难获得。而基于无监督学习的方法不依赖任何标签。因此,基于无监督学习的方法更具有普适性。但是该方法由于只使用像素的重构损失来衡量输入和输出之间的差距,从而导致生成的图像通常是模糊或者扭曲的。针对以上问题,本文提出了一种基于无监督学习的脑成像模态迁移框架（Brain Modality Transfer Generative Adversarial Network,BMT-GAN）。该框架利用了生成对抗网络（Generative Adversarial Network,GAN）的基础理论知识,并且引入了循环一致性损失和对抗性损失组合,避免了传统生成对抗网络无法实现输入输出配对的问题。除此之外,本文在该框架中还引入了针对输出重构图像和参考图像的一组非对抗性损失,作为提高高质量输出的附加约束,这样不仅减小输入和输出模态图像之间的感知和风格差异,同时增强输入和输出图像之间的全局一致性。另一方面,现如今的脑成像模态迁移技术大都是由一个领域的一种模态数据转换到另一个域中的一种模态数据,例如上述提出的BMT-GAN框架。而在具体的临床诊断中,同一种扫描领域能够获取多种模态数据,利用多种模态数据的多样性特征更有利于合成缺失的模态数据。因此,我们提出了一种基于自监督学习的脑成像模态迁移框架（Self-supervised Learning GAN,Ssl-GAN）。该框架构建了多分支输入,使框架能够学习到多种模态数据的多样性特征。另外,通过建立辅助任务从大规模的无监督数据中挖掘自身的监督信息,通过这种构造的监督信息对网络进行训练,不仅保证输入和输出模态图像之间的相似性,而且还可以学习到对下游任务有价值的表征。