随着智能采集设备、移动互联网及云存储平台的广泛应用,语音数据爆炸式增长。由于人工标注成本昂贵,经过人工准确标注的语音数据却较少。如何对海量无标签语音进行说话人聚类（Speaker Clustering）、如何对少量带标签语音进行说话人辨识（Speaker Identification）是目前智能语音处理领域的研究热点。本文探讨基于深度卷积网络的说话人聚类与辨识问题。论文主要工作及贡献如下:（1）提出基于联合优化深度表征学习与类别估计的说话人聚类方法。首先,从语音样本提取梅尔频率倒谱系数（Mel-Frequency Cepstral Coefficient,MFCC）,并进一步提取I-vector特征。然后,将I-vector作为深度卷积自编码网络（Deep Convolutional Autoencoder Network,DCAN）的输入特征,在DCAN编码器输出层提取深度表征（Deep Representation）。接着,采用凝聚层次聚类（Agglomerative Hierarchical Clustering,AHC）对深度表征进行聚类,并根据聚类结果确定初始类标签。最后,在DCAN编码器输出层拼接Softmax层进行类别估计。采用深度表征学习和聚类类别估计的联合损失函数,对DCAN参数进行微调。采用归一化互信息（Normalized Mutual Information,NMI）和聚类精度（Clustering Accuracy,CA）作为性能评价指标。采用Aishell-2和Voxceleb1语音数据库进行评测,本文方法获得的NMI分别为92.5%和72.4%,CA分别为84.5%和66.1%,均优于主流方法。（2）提出基于注意力深度可分离卷积网络（Depthwise Separable Convolutional Network with Attention）的小样本说话人辨识方法。网络由深度可分离卷积（Depthwise Separable Convolutional,DSC）模块堆叠而成,用于克服过拟和问题;同时结合通道注意力（Channel Attention,CA）机制,充分利用各通道信息,从而提升网络性能。本文方法在Aishell-2、Voxceleb1和TORGO三个语音数据库上进行评测,获得的准确率分别为94.46%、86.42%和89.24%;获得的F值分别为96.18%、88.74%和90.62%,本文方法优于其它小样本学习方法。综上所述,本文重点探讨联合优化的说话人聚类问题和小样本说话人辨识问题,并提出基于深度卷积网络的说话人聚类方法与说话人辨识方法。本文设计不同对比实验,并与主流方法进行比较分析,验证本文方法的有效性。