论文部分内容阅读
随着互联网、泛在通讯技术及移动应用的快速发展,社交媒体已成为人们交流、沟通使用最广泛的工具。社交媒体用户在我国城市居民中的占比达50.9%,其中每月活跃用户的微信数量总数已突破6亿。语音信息因其良好的便捷性和丰富的情感特征,在社交媒体的交互式对话与群体互动传播中发挥着重要作用。在我国,自从2011年的移动语音社交软件Talkbox发布以来,语音社交应用的月度覆盖人数已超过3.2亿。语音在传递语义信息的同时,所蕴含的丰富个性化情绪特征对信息接收者的情绪变化具有重大影响。近年来各类突发事件的实例表明,社交媒体中的语音信息传播更容易导致群体情绪感染并产生“异速增长”的情绪协同传播效应,已成为突发事件应急管理和相关研究领域高度关注的新问题。 以往在语音情感计算方面,主要是从典型情绪分类角度对静态语音中的主要情绪作单一识别,并计算其情感极性与强烈程度。有关社交媒体的情绪传播研究,也大多以文字信息传播为基础。与上述情况所不同的是,社交媒体中的语音信息传播在情感的表达与认知上有着诸多复杂性,不仅要对其语义内容进行分析,还必须考虑语音信息的声学特征对传播的影响。尤其在社交媒体的群体交互行为中,语音信息往往包含着多种复杂情绪的动态变化,信息接收者对信息的认知及其情绪反应,以及由此可能引发的后续传播行为都与其情绪的群体传播有着密切关联。目前,关于上述问题是正在研究的热点和尚未解决的难题。 本文针对社交媒体的环境特点及其语音信息传播的特征,以传播学、认知神经科学、计算机科学等多学科交叉视角对“社交媒体语音信息的情感计算及情绪传播”进行创新性探索研究。 首先,对国内外相关研究现状进行了系统性归纳,并在此基础上,对社交媒体的信息传播模式与特征进行分析,指出以微信、QQ等为代表的“小世界”网络语音信息传播是建立在信任基础上的信息传播,更容易在社交媒体用户的心理认知上形成一致性,上述传播方式对社交媒体中的群体情绪会产生重要影响。为此,本文对社交媒体语音信息的认知过程与特征进行了深入剖析,从认知神经机制角度阐述了语音信息传播中的语义信息与声学特征信息认知差异,并设计了EEG脑电波实验任务,选用的实验语音素材包括两类,一类是中科院自动化研究所发布的欢快、愤怒、惊奇、悲伤、恐惧及平静共六种情感类型的CASIA标准情感语音库,另一类是从社交媒体、影视、CD钢琴曲等来源收集到的已经标注完情绪强度的音频文件。通过EEG脑电波实验,本文研究发现脑电的β波信号对于排除语义信息影响下的声学特征参数提取具有重要意义。 然后,在上述发现的基础上,本文选取了语音的韵律与音质特征参数中的25个参数,组成特征参数集合,构建了由上述声学特征参数组成的语音情感计算指标向量模型F(n)=[SE,P,SZC,FF,SF,VS,NVB,MFCC],并基于以上的指标向量模型和文字语义分析,从这两个方面进行语音情感计算的研究,一方面采用三维连续空间的PAD情感模型与最小二乘支持向量回归算法(LS-SVR)对社交媒体环境下的语音声学特征做情感计算,其中,声学参数指标包括短时能量的最大、最小和平均值、基音的最大、最小和平均值、短时平均过零率的最大、最小和平均值、第一共振峰的值、第二共振峰的值、语速、语句停顿次数、12阶Mel频标倒谱系数等。另一方面对语音进行文字转换、文本分词与文本情感计算,其中的文本分词与情感词的计算是基于R语言完成,具体是通过调用jiebaR与jiebaRD库来完成。在文本分类上,采用的是情感词典和语料库结合的方法,使用点互信息(PMI)和知网词库(HowNet)来计算情感词的情感,本文的基准情感词分为7大类,该分类是参照大连理工大学信息检索研究室给定的情感词大类,通过统计7大类里每类情感词汇在语料库出现的频率,选取每个大类里10个最高的情感词作为基准词。上述从语音声学特征和语义文本两方面做情感计算的方法,经实际检验证明是有效的。 接着,本文对情绪传播领域相关研究文献进行深入分析,从社交媒体语音信息所引起的选择性关注、个体认知与行为以及上述行为所引发的群体情绪感染、群体行为模仿、群体态度极化等过程的演化机制出发,系统归纳了网络社交媒体语音情绪的群体传播机制,并基于群体情绪传播特征与人类信息处理模型所给出的感知与认知处理时间周期,提出了按照时间分段进行复杂语音情感计算的新方法,使用该计算方法对微信群里收集到的针对国内某食品安全事件的语音聊天记录进行情绪传播计算,上述语音聊天记录事后均由语音发送者做了确认,并经同意用于本研究中,结果表明以上计算方法能够有效地解决社交媒体环境下的复杂混合情感及其动态变化的计算问题。 最后,在群体情绪传播机理仿真分析的基础上,提出实情仿真的探索性研究方法,即社交媒体群体情绪传播的计算要考虑社会关系网络和个体交互过程,通过设计多Agent系统的传播网络结构模型、社会关系网络模型及相关属性与交互规则来对群体情绪传播进行仿真模拟计算,并以社交网络实验验证了上述方法的可行性。 相较以往的研究成果,本文研究工作的主要创新点如下: 1.从认知神经机制、语音声学特征及文本语义等多个视角综合分析了社交媒体环境下的语音信息情感认知特征及其复杂性,通过EEG脑电波实验对语音情绪的神经活动反应进行了观测,给出了反映其关键声学特征的25个特征参数指标,并采用中科院自动化研究所发布的CASIA标准情感语音库对上述参数指标作了测试验证,得到84.43%的平均识别率,本文结合认知神经科学、计算机科学的学科交叉知识来研究语音情绪关键声学特征参数指标的选取,在研究视角上具有创新。 2.以25个声学特征参数指标为基础,提出采用三维连续空间的PAD情感模型和最小二乘支持向量回归算法(LS-SVR)对社交媒体环境下的语音进行分段情感计算的方法,经实验验证了上述方法可以对社交媒体语音信息所蕴藏的复杂情感及其动态变化状况进行有效情感计算,在研究社交媒体语音信息情感计算的方法上进行了新的探索。 3.通过对网络社交媒体语音情绪传播机制分析,指出必须从社会交互过程的微观机制进行研究才能更好把握真实环境下的社交媒体语音情绪群体传播状况,提出了基于多Agent系统的传播网络结构模型、社会关系网络模型及相关属性与交互规则的设计方法,从社交媒体群体交互的微观机制与动态过程出发给出了语音情绪群体传播仿真计算的新方法,对真实环境下的群体情绪传播计算做了探索。