社会媒体是在Web2.0背景下产生的一种新的多媒体信息共享和交流方式,其发展迅速,受到世界范围内越来越多用户的青睐和研究者的关注。社会媒体包括博客、社交网站、微博、wikis等文本信息,图像视频音乐分享网站等多媒体信息,以及在移动设备上新兴的签到服务、社交游戏等。随着各种社会媒体的广泛渗入,产生了海量的社会媒体信息,面对如此巨大、内容丰富、形式复杂的信息,如何对其进行有效挖掘,进而准确高效地进行搜索和推荐,就成为下一代互联网应用和发展的关键。　　 社会媒体与传统的网络多媒体有很大不同。传统的网络多媒体搜索与推荐技术主要分析多媒体内容本身,而社会媒体由于具有明显的局部共生性和协同性,用户与多媒体信息之间存在着复杂的信息关联,形式多样的媒体协同以及用户互动反过来赋予内容更广泛的语义。协同搜索和推荐,即通过挖掘各种媒体信息之间、用户之间的相互关联,改善社会媒体理解,将信息准确、高效地推送给用户。协同搜索与推荐成为社会媒体研究的热点问题,主要包含如下三个方面的关键问题:　　 ·基于社会媒体的多媒体内容分析。多媒体信息是社会媒体的核心组成部分,多媒体内容分析是社会媒体协同搜索和推荐的基础。传统的图像和视频分析方法采用颜色、纹理等底层特征描述,与高层语义之间存在“语义鸿沟”。在社会媒体背景下,多媒体内容与用户之间的关联性为解决这一问题提供了思路。研究如何利用社会媒体中的上下文信息、用户标注评论等信息、以及跨媒体之间的关联对改善多媒体内容的内容分析和语义理解,具有重要意义。　　 ·基于社会媒体的用户理解。要有效地为用户推送信息、真正在搜索和推荐服务中将用户和数据关联,除了多媒体内容分析,还需要分析用户,理解用户背景和意图。通过分析用户与用户、用户与多媒体信息的互动,挖掘用户的各种社会行为,进而学习用户兴趣和偏好,是用户理解的重要步骤。此外,社会媒体具有社会性和群体性,可看做是现实社会在网络上的投影,社会媒体中的用户理解还离不开社会网络分析。　　 ·基于多媒体内容分析和用户理解的协同搜索与推荐。通过挖掘社会媒体中的局部共生性和协同性,如何结合多媒体内容分析和用户理解的结果,利用各种关系的融合和传递,是面向社会媒体协同搜索与推荐最具挑战的问题。　　 本文中,针对上述三个问题,我们从模式识别、多媒体内容分析、社会网络分析、机器学习等技术方面做了以下研究工作:　　 (1)基于社会媒体的图像标注增强。将用户信息引入到图像标注问题中,对图像分享网站中的图像一标注一用户三元关系用图像-标注-用户三阶张量建模。通过正则化张量重构后改善的图像、标注和用户表示,分析图像-标注二元关系,进行图像标注增强。该方法将用户因素显性地考虑到图像标注分析中。　　 (2)面向社会媒体的视频语义聚类。针对传统列表式排序低效、冗长的缺点,提出一种对视频搜索结果按语义聚类组织和显示的方法。通过层级主题模型,利用社会媒体中用户提供的文本元信息,挖掘视频集合中潜在的层级结构。另外,我们对视频进行重复检测,将视觉信息以must-link约束的形式与层级主题模型结合,提出一种面向社会媒体的多模态视频分析框架。　　 (3)基于社会媒体的用户异质关系挖掘。在社会媒体中,用户之间不是简单的0/1关系,对不同主题应该有不同的分布,这一点对准确的协同搜索和推荐非常重要。本工作从生成式模型角度,对用户图片标注和好友行为进行建模,同时学习用户以及用户之间关系的主题分布。　　 (4)基于移动社会媒体的POI(Point of Interest)推荐。结合社会媒体中的内容分析和用户理解,在本工作设计了一种在移动社会媒体中的应用。通过分析用户的签到行为,提出了基于手机的活动推荐服务:基于用户的签到历史、当前情景(时间、地点等)和签到行为,为用户推荐未来一系列可能进行的活动(即推荐一系列POI,其中POI代表商家,对应活动中的一次行为)。为避免稀疏性问题,我们同时对用户和情景进行了协同过滤,并提出了一种基于马尔科夫的概率排序方法。