近年来,深度学习技术得到了快速发展,并在许多领域获得广泛应用。深度学习的成功离不开海量训练数据的支持,然而这些数据可能隐含严重的安全隐患。随着人们隐私保护意识的提高与国家相关法律法规的完善,深度学习中的隐私安全问题严重制约了它的进一步发展与应用。因此,对深度学习进行隐私保护不仅可以避免敏感信息的泄露,更可以进一步促进深度学习的大规模应用,具有十分重要的理论与现实意义。大规模收集数据来本地训练学习模型,这称之为集中式学习。因为数据充足,这种方式可以获得很好的学习效果。而分布式协作学习可以联合多个可用数据不足的参与者,在不直接共享敏感数据的基础上,通过相互协作获得比单独训练更好的学习效果。本文深入研究了集中式深度学习与分布式协作深度学习两种典型学习场景下的隐私安全问题,并针对现有算法的不足,分别提出一个基于差分隐私理论的隐私保护深度学习算法。主要内容分别如下:(1)在集中式学习场景下,本文提出了一种新型的、满足差分隐私保证的深度学习基本模型,称之为基于解析高斯机制与函数机制的差分隐私深度学习算法。它的设计基于差分隐私的可量化性、可组合性和后处理不变性。即通过敏感度有界的函数的组合来逼近期望的复杂系统。算法的主要步骤有三点:一是使用解析高斯机制干扰模型输入层;二是在此基础上构建接下来的若干隐含层;三是利用扩展后的函数机制干扰深度学习的损失函数。本算法的总体隐私预算不随训练过程累加,隐私预算计算简单。与现有的类似算法相比,在相同的差分隐私保护力度下,本算法可以在分类任务中得到更准确的分类结果。(2)在分布式协作学习场景下,本文提出了一种新型的、基于本地差分隐私分段机制的分布式协作深度学习算法。它应用于参与者们的本地数据集特征空间相同,但样本不同的场景。在中心服务器的协调下,参与者们利用基于分段机制的隐私保护分布式协作通信协议,进行同步的上传、安全聚合与下载流程。本算法对共享梯度信息施加差分隐私干扰,可以在保护参与者的本地隐私数据的同时,最大程度地克服参与者本地数据集较小、样本较单一等问题,提高参与者的学习效果。与基于差分隐私拉普拉斯机制的随机干扰相比,本算法的最坏情况方差更小。本方案不需要中心服务器一直维护全局参数,进一步提高了隐私保护水平。