视觉媒体包含着丰富的信息,而且现在已经广泛渗入人们的生活与工作当中,并对人们的生理和心理产生着潜移默化的影响。因此,视觉媒体与用户情绪反应之间的分析和建模研究已成为目前心理学、生理学和计算机科学等多学科交叉的一个重要课题。本文旨在研究建立一个横跨视频空间,情感空间和脑电空间3个方面的综合模型,具体内容包括以下三个方面。首先,我们在国际标准音频库IADS和国际标准图像库IAPS上做分析,对于IADS,我们对它进行了多种分类方法的分析比较,并在分析可行性和分析效果方面得到了一些可供参考的结论。而对于IAPS,除了对它进行了多种分类方法的分析比较外,我们还对它进行了情感维度的规则挖掘,并得出了一些可供参考的情感维度规则。其次,我们建立了自己的一个情感视频刺激库,并选取其中一部分来诱发被试的情感反应,同时记录下相应的脑电信号和被试的情感体验,最后构建了一个涉及视频,脑电和情感评价3个维度的数据库。基于这个自建的数据库,我们先分别对视频—情感,脑电—情感建立单向的映射模型,然后再对视频—脑电进行双向的建模研究,最后为了和日常情感评价接轨,我们对情感维度进行聚类分析,得出情感维度和情感类别之间的关系。这样最后我们无论是基于视频刺激还是脑电反应,都可以最终映射到日常的情感类别。而且脑电这种生理方面的反应也可以直接和视频这种视觉媒体的刺激建立直接的关系。目前极少有人在这一点做出相关研究。最后,由于视频片段的时长问题,导致被试用户在进行人工的情感评价时很容易产生用户疲劳,对扩大样本进行更可靠视频情感的分析形成了一种很大的障碍。为了解决样本量的问题,我们尝试着使用半监督学习来解决标记未评价视频的问题,并给出了相关分析结果。通过以上这三个方面的内容,我们对视觉媒体完成了一个比较立体的分析,不仅确定了视频刺激与脑电这种生理反应之间存在着直接关系,而且建立了一些具体的映射模型,完成了视频,生理和心理3种空间的初步模型挖掘工作。