随着时尚社交网站(如Pinterest和蘑菇街等)的飞速发展,网上购物成为一种方便、快捷和极具吸引力的购物方式。但是,面对网络上超大规模的商品,用户需要花费大量的时间和精力浏览挑选,严重影响了网上购物的体验。购物推荐系统的目标就是快速准确地向用户推荐符合他们兴趣偏好的商品。不同于书籍或电影的推荐,服饰商品的推荐具有自身的特点。服饰给用户带来的视觉感受是影响用户购买决定的主要因素,而现有的购物推荐研究及应用很少关注这一点。另外,用户的社交信息也是影响用户购买行为的一个因素。同时,服饰搭配作为服饰推荐的一个方面,不仅能够带给用户更好的购物体验,而且对提高商品销量有较大的帮助。本文以服饰数据和用户购买行为记录为研究对象,围绕服饰图像语义属性标注,服饰搭配知识发现和个性化服饰推荐等关键问题展开深入的探索工作,主要的创新性内容包括以下几点:首先,针对服饰图像的语义标注问题,本文提出了一种基于局部视觉邻居的检索和挖掘框架。已有的图像标注模型集中于解决粗粒度的标注问题,如对象的类别。对于服饰图像,用户通常更加注重服饰图像的细节描述。同时,服饰相对于一般刚性物体,更易受到形变的影响,导致视觉特性发生严重改变。因此,我们首先设计了基于局部视觉邻居的相似图像检索框架。通过对服饰关键部位的特征提取和描述,发现与查询图像在整体和局部细节相似的结果。然后,对相似图像所附带标签进行挖掘分析,发掘出具有代表性的语义标签,并给予这些标签相应的重要性评分,最后根据这些语义标签的重要性评分对查询服饰图像进行标注。其次,针对服饰图像的属性预测问题,本文提出一种融合多标签回归模型的深度卷积神经网络。网络服饰图像通常背景复杂,并且由模特展示,不同的光照和姿势给属性预测问题带来了巨大的挑战。另外,服饰的一些重要属性往往在服饰图像中所占区域较小,也给特征学习增加了较大的难度。虽然现有的深度特征对服饰图像的描述已大大优于传统特征,但是对服饰图像的属性预测的效果还不理想。现有的工作忽略了服饰属性之间存在较强的关联关系,而这种关系对于属性预测问题是十分重要的。因此,我们通过多属性回归模型对这种关联关系进行建模,并将其集成在多分支深度卷积神经网络中,从而实现了服饰图像的多属性预测,并在性能上取得了较大的提高。另外,针对服饰的搭配问题,本文提出了一种跨种类的多模态融合的深度神经网络模型,该模型能够发现服饰之间的时尚搭配关系。服饰搭配是一个比较新的研究课题,已有的工作只通过服饰的视觉特征,建立服饰之间的关联关系。但是,存在与视觉特征和语义信息的语义鸿沟还未真正解决,而服饰搭配则是语义级别的问题。因此,只依靠视觉特征并不能满足目前实现服饰搭配的要求。基于此种原因,我们提出融合服饰图像的语义特征和视觉特征对服饰进行描述,同时建立双路深度神经网络结构来挖掘不同服饰组合的内在关联,从而发现服饰之间的搭配知识。最后,针对网络服饰的推荐问题,本文提出了一种融合多约束条件的概率矩阵分解模型。现有的协同过滤算法在一般商品推荐中取得了一定的效果,但并不适用于服饰推荐。服饰推荐不同于一般的商品推荐,视觉特征是影响服饰推荐的关键因素。同时,社交信息在用户决策中也具有一定的影响力。基于以上原因,我们分别对用户社交信息和服饰关联关系进行建模,并将这些因素作为约束条件集成在概率矩阵分解模型中,从而实现了兼顾用户社交圈和服饰搭配关系的个性化服饰推荐。