面向突发事件的网络舆情智能采集架构

来源 :电脑知识与技术 | 被引量 : 0次 | 上传用户:luck1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘要:随着视频采集、处理、传榆技术的发展,视频数据成为重要的数据源,利用智能化视频分析技术,准确获取视频內容中突发事件的发生以及对突发事件进行行为分析,并实时上报到监控中心,这样可以缩短从突发事件发生到事件处理的时间,提高突发事件的应急能力。本文主要针对这一迫切的行业需求,阐述了现有舆情及视频智能分析数据技术,并提出以视频为数据源的面向突发事件的舆情信息智能采集架构的探索。
  关键词:突发事件;网络舆情;视频数据;智能采集架构
  中图分类号:TP393 文献标识码:A
  文章编号:1009-3044(2019)33-0005-03
  1概述
  根据突发事件网络舆情的定义,突发事件网络舆情涉及范围是多种社会群体构成的公众为受体,通常以互联网为平台,借助电子设备等相关辅助沟通工具,围绕即将发生的或已发生的自然灾害、事故灾难、公共卫生事件和社会安全事件等突发事件发布的含有多种情绪、态度和意见交错的总和信息。突发事件网络舆情是网络舆情的一种特殊情况,因此,其具有一般网络舆情所具有的内容庞杂性、现实互动性、聚合扩散性和传播跨界性等特点,此外,由于其突然性质并受到突发事件的影响,还具有其特殊的一面,主要包括突发性、复杂性强、难以预测性、聚焦效应明显、公共议题转换高等特征。为此,必须建立应对突发事件网络舆情的及时有效治理体制,及时有效地建立行政监管应急方案、实现媒体行业舆情引导自律、利用高科技技术提供舆情传播的有力保障等多方面相结合的突发事件网络舆情管理体制。
  随着视频采集、处理、传输技术的发展,视频数据成了人们生活中占重要分量的数据源,比如,公共安全的视频监控系统、微视频等,而以往舆情信息的采集多是从微博、网络博客、贴吧、论坛中获取受众对舆情事件的反馈信息,但是随着视频数据量在整体数据结构中的增加,在一些突发事件发生地,第一时间获取事件发生的方式已经从以微博和贴吧为主,转变成以视频数据获取为主。因此以视频数据为依托,利用智能化视频分析技术,准确获取视频信息,并实时上报到监控中心,这样可以缩短从突发事件发生到事件处理的时间,提高突发事件的应急能力。本文主要针对这一需求,阐述了现有舆情及视频智能分析数据技术,并提出以视频为数据源的面向突发事件的舆情信息智能采集架构的探索。本文拟提出针对视频数据分析的行为检测信息采集系统,利用该系统可以第一时间获取事件发生的多维信息,根据行为库的定义,判断当天发生的突发事件是何种类型,影响程度,然后实时反馈到舆情管理中心,为舆情的良性发展提出了宝贵的技术支撑。
  2突发事件网络舆情相关研究工作
  网络舆情突发事件的预警机制是网络舆情危机管理的重要组成部分之一。有学者提出一种基于观点树的网络舆情危机预警方法,实现对网络舆情中网民观点极性、强度以及属性的挖掘。通过构建观点树,并根据用户自定义预警阈值或预警指标,对网络舆情危机事件进行预警。为了明确划分网络舆情预警等级,李弼程等人利用威胁估计技术对网络舆情的威胁程度进行定量估计,做出网络舆情的预警等级预报。其中,网络舆情的预警等级被划分为轻警情、中度警情、重警情和特重警情四个等级。此外,还有一些研究运用事件演变动力学建模、语义隶属度模糊推理、直觉模糊推理等开展预警评估。
  有研究者基于多案例的突发事件分析了网络舆情演化模式。叶琼元等人采用系统动力学建模方法,分别从内部因素、外部因素两大影响网络民意演化的主要方面进行分析,以突发事件民意热度为指标,探讨突发事件民意演化影响因素及其逻辑关系,并检验其中的关键性因素,同时考虑网民和政府间的博弈与关联性。趙蓉英等人采用社会网络分析方法,结合具有典型代表意义的突发事件案例,试图挖掘与识别网络舆情的关键节点,并解释其内在的结构特征与演变规律。
  已有的研究在突发事件的网络舆情监测与预警方面已取得了相当的成果,但针对突发事件中的视频舆情的研究并不多见。在当今多源媒体时代,视频信息中负载了大量的舆情符码不容忽视。因此,本研究拟构建基于视频边缘计算的舆情突发行为采集系统架构。
  3智能化视频处理在舆情分析中的应用
  视频数据是当前大数据时代数据领域的主要类型,视频数据中包含了多种视频数据信息,如何从视频数据信息中获取有关舆情信息是我们系统提到的关键所在。尤其是当前多元数据媒体,如自媒体、微信等盛行的时代,当视频数据终端获取到突然事件视频时,期望能在第一时间将这些实时视频数据进行分析,指导突发事件舆情的良性发展。
  本文主要针对包含人的行为类突发事件的视频数据,构建了基于视频边缘计算的舆情突发行为采集系统架构,进行视频数据内容的人的行为特征的提取,然后根据行为数据库,进行人体行为数据分析,然后将行为分析的结果发送到已经设定好的行为数据库,根据行为数据库内行为类型比对操作,然后将数据实时传输到舆情管理系统,舆情管理系统可以根据真实的行为结果,对数据进行分析,在舆情传播中起到合适的引导作用。在基于视频数据的行为分析中,利用视频终端采集设备(如,公路两侧监控摄像头和用户手机端摄像头),获取视频数据,对视频内容进行分析,这对突然事件的跟踪至关重要。如何能从视频数据中及时分析,实时获取行为图像或数据,并传输到附近的服务器,服务器对视频行为内容进行分析,然后得到分析结果。这些是本项目的关键,也是进一步突发事件(以行为特征)的舆情判别的基础。我们分别从以下几个方面来介绍本文所提出的系统。
  3.1系统架构
  1)系统总体架构
  本系统主要包括三大体系模块:面向视频处理的边缘计算模块、云计算模块、舆情管理服务模块。图1描述了系统的总体架构。面向视频处理的边缘计算模块在本项目中即是智能终端设备本身,例如智能手机、智能摄像头等,它承担着人的行为检测。云计算模块主要是部署再云数据中心,完成计算需求最大的数据处理,负责部分人类行为检测计算任务和其他系统的计算任务。舆情管理服务模块是为方便舆情管理中心获取视频数据和及时响应突发事件舆情而设计的。   2)视频边缘计算模块
  本项目采用云边协同架构,会在智能终端如智能摄像头处对视频流进行预处理,获取初步信息后,返回状态值至云中心系统运维中心,之后系统运维中心将云中心视频处理任务管理节点训练的神经网络模型,下放至边缘单元处进行计算,边缘计算单元返回计算结果。根据每个边缘计算单元计算资源的不同,云中心系统运维中心会提供不同的神经网络模型。这既节省了视频流的传输时间消耗问题,又可以灵活运用边缘计算单元的计算资源。
  3)云计算模块
  云计算模块主要具备两个功能:云中心视频处理任务管理和云中心系统运维管理。
  ①云中心视频处理任务管理节点,根据云中心运维管理节点提供的用户要求训练相应的模型,利用神经网络学习算法训练生成数据图像模型,同时根据各边缘节点的计算、存储和传输能力判断卸载的比例,实现对云中心数据图像模型的最优化分割,分割后的神经网络可以合理利用各个边缘单元的计算资源,完成相应的任务识别。最后由云中心系统运维管理中心将分割好的云数据图像模型卸载到各个边缘计算节点。
  ②云中心系统运维中心收集系统各个节点的状态的信息,完成对整个系统节点状态的管理,比如检查节点是否在线,是否出现故障,实时监控,维护系统的正常运作并将各个状态存储以便客户端收集显示。同时云中心系统运维管理节点负责获取客户端任务要求为云中心视频处理任务管理节点提供模型训练依据,收集边缘计算单元计算资源信息为云中心视频处理任务管理节点提供任务卸载依据,起到将云中心及其他节点连接在一起的桥梁作用。
  4)舆情管理服务模块
  管理服务模块向舆情管理系统的管理人员提供与人类行为检测与识别相关的客户端应用服务,通过调用云计算中心智慧应用层和应用服务接口,实现视频图像的查询和下载、人的行为检测和可视化分析等客户端应用功能。舆情管理服務模块是系统面向用户的关键模块,提供了用户友好和功能丰富的客户端应用程序,是对整个系统的进一步完善。
  3.2关键技术
  基于视频数据的突发舆情事件中行为判别系统的关键,在于对视频数据中的行为进行判断,核心的技术点是实现视频数据中行为分析的判断,具体而言,主要包括以下关键技术。
  1)基于深度学习的行为检测技术
  随着人工智能领域的快速发展,深度学习越来越多的引入到目标检测领域中。基于深度学习的目标检测的发展方向大体上可以分为两类:1)基于区域提名的R-CNN系列;2)无须区域提名的YOLO/SSD系列。第一种算法需要先生成一个可能含有目标物体的预选框,然后再进行物体检测。第二种则直接在网络中提取特征识别物体。本项目中将采用第一种算法来进行人体行为的检测。
  原始的R-CNN算法检测目标物体的主要思路是获取图片后,在图片中提取若干个候选区域,再将这些区域分别输入CNN(卷积神经网络)网络,在CNN网络中对每个区域抽取一个固定长度的特征向量,再通过向量机(SVN)来辨别目标物体以及位置。这种算法完成目标检测的过程中需要三千模型,而且输入到CNN网络中的若干个候选区域中可能有物体,也可能没有任何物体,这样,就会使算法计算量大且效率低下。
  Faster R-CNN是R-CNN的优化版本,它实现的主要过程为:
  ①将图片输入到CNN网络中,生成该图片的特征映射。
  ②将特征映射输入到Region Proposal网络(RPN),返回目标区域和相应分数。
  ③通过Rol池化层,将所有目标区域修正为统一尺寸。
  ④将所有目标区域传输到完全连接层,输出相对应的边界框。
  与R-CNN需要三个模型不同,Faster R-CNN只需用一个模型就可以实现区域的特征提取和分类,大大提高了计算效率,减少了计算时间。在本项目中,为了能够及时地对舆情进行控制并正确的引导舆情的发展方向,我们需要及时、迅速地获取舆情事件中的人物行为,所以,我们会采用Faster R-CNN算法来进行人体的行为检测。
  2)云计算与边缘计算的协同合作技术
  按照云计算的特征,云计算模式是一种集中式数据处理的方式,利用网络互联,可以根据用户需求,实现多用户之间的软硬件共享。云计算系统主要由云中心平台,云存储系统,云终端,以及云安全模块。此外,对于云计算模式下的资源而言,云计算实现了一种资源的虚拟化,这样资源在一定程度上可以分时被不同用户共享,在一定调度策略的设计中,可以让用户觉得只有本身在用。而对于用户本身,其又不需要关系云计算资源内部的细节,而仅仅是直接使用云计算所提供的服务。
  相比而言,边缘计算就是在靠近数据源端的网络边缘侧,融合网络、计算、存储、应用核心能力的一种新型计算模式。在数据源附近提供一种边缘智能服务,以实现快速连接、实时业务、数据优化、安全与隐私保护等技术需求。边缘计算系统主要由终端设备(如,移动手机)、边缘设备(如,路由器、机顶盒、网桥等)、边缘服务器等构成,这些组件可以具有必要的性能,支持边缘计算。
  边缘计算着重解决实时、短周期数据的分析层面,边缘计算能够实时实现本地化的数据智能化处理。在数据源端,边缘计算能够实现数据的本地化数据处理,无须将数据上传到云端,为此,减少数据从云端到本地传输的时间和带宽开销。
  面对大规模视频数据量,若都要在服务器端进行云计算处理,这会造成严重的时间延迟,无法实现将识别视频信息实时反馈到用户需求端。但是,无法在边缘端处理庞大的视频流信息,这主要是由于其资源受限特性,此外,边缘端也不能满足深度学习模型构建对计算资源的需求。故采用云计算与边缘计算协同的方法来实现基于视频内容的分析,既可以完成神经网络模型构建的计算需求,又可实现舆情分析对实时性信息反馈的需求。
  视频边缘计算以及云计算所解决的关键问题有所不同,云计算主要解决具有全局性的数据负载类型,该类负载对实时要求不高,但是需要实现对大规模连续书的处理与分析,能够在长周期维护、业务决策支撑等领域发挥优势。相比而言,边缘计算更适用局部性、实时、短周期数据的处理与分析,能更好地支撑本地业务的实时智能化决策与执行。
  3.3预期目标
  实现一种基于视频边缘计算的行为识别系统,该系统通过视频边缘计算,对视频数据中人的行为进行快速检测和识别,根据真实的行为结果,对数据进行分析,提高舆情管理人员应对舆情事件的速度,引导舆情事件的良性发展。
  由此可见,利用视频数据获取实时突发事件发生情况的机制,可以提供突发事件库,当探测到突发事件发生,实时跟踪突发事件的发展,并及时触发报警功能。
  4未来展望
  随着万物互联时代的到来,信息传播和交互的途径将越来越多,如何实时分析突发事件本身,并引导舆情向正向健康的方向发展,是未来突发事件舆情应对的主要考虑的问题。本文仅从视频分析的角度来分析突发事件舆情态势,还缺乏对异构多元数据的分析。例如,通过手机、监控摄像头、生物感知设备等都可以获取突发事件中行为信息,为突发事件舆情的全面解析提供更强有力的支撑。这些设想将在后续的研究中逐步实现。
其他文献
摘要:随着我国游戏产业的高速发展。中国青少年游戏用户数量逐年增多、游戏持续时间长的趋势。虽然发展游戏产业也是文化产业发展的一种途径,但当下市场中的多数游戏产品内容并未能为对建立青少年积极向上的性格特征起到推动作用。而现有社会文化所认可的道德观教育是基于中国传统文化的。因此如何将中国传统文化认知融于中国青少年所处的游戏环境中,挖掘提升传统文化的内涵与价值成为游戏产业发展的一个新的课题。本文基于当前青
摘要:校企合作是当前高职院校增强创新能力、提高教学水平、增进资源整合的重要模式。安徽机电职业技术学院经过多年的探索与实践,结合学校的办学定位和专业特色,与南京第五十五所技术开发有限公司共同建设云计算技术与应用专业实践教育基地,在实训室建设、企业大师工作室建设、师资建设、课程建设等方面进行深度合作,为促进我国高校实践教育发展模式提供参考。  关键词:校企合作; 云计算; 实践基地  中图分类号:G6
摘要:本文通过对兰州石化職业技术学院信息技术类专业近三年的就业数据进行分析,反映出甘肃省高职院校信息技术类专业就业中存在的问题,并提出了提高就业质量、加强专业建设的相关对策。  关键词:高职;信息技术类;就业  中图分类号:TP311.1文献标识码:A  文章编号:1009-3044(2020)33-0171-02  开放科学(资源服务)标识码(OSID):  1 研究背景  最新研究报道,全球科
摘要:当前我国职业教育发展速度非常快,职业教育是否顺应地方经济的发展方式与产业的结构调整,已成为制约职业教育发展的瓶颈。中等职业学校毕业生岗位适应能力的高低与受企业的欢迎程度与专业课程体系、培养模式等直接相关。实践证明,职业学校要提高办学水平,确保学校的可持续发展,一是要根据企业、行业发展的需求以及自身特點去设定专业课程体系,进行必要的教学改革;二是要抓住校企合作办学的机遇,创新人才培养模式,针对
摘要:文章基于MOOC资源应用于混合式教学的优势分析,以传感器原理与应用理论教学为研究对象,探索基于MOOC的混合教学方法,使用线上MOOC学习结合课堂学习构建混合式教学方案,并对教学实践效果进行调查分析,结果表明可提高学习效率,增加学习的广度和深度,培养学生的创新能力,为开展混合式教学提供参考。  关键词:MOOC;混合式教学;传感器原理与应用;教学模式;线上学习  中图分类号:G642 文献标
摘要:在飞速发展的网购时代,电子商务产业蒸蒸日上。十九大也明确提出大力发展电子商务专业。本文主要从高职电子商务专业在产教融合、校企合作的现状分析,阐述了目前高职深化电子商务产教融合、校企合作的路径及对策。  基金来源:2018年常州大学高等职业教育研究院项目(CDGZ201830)  关键字:产教融合;校企合作;电子商务;  中图分类号: TP393 文献标识码:A  文章编号:1009-3
摘要:该文简要阐述了建设高职院校一站式服务平台的意义,并就当下的研发基础与条件进行了深入分析,提出了几点有关项目的主要研究内容以及相关的技术解决方案与思路。  关键词:BPM;高职院校;一站式服务平台  中图分类号:TP393 文献标识码:A  文章编号:1009-3044(2020)10-0122-02  根据我国教育部的最新要求,强化我国职业信息教育,并保证数字校园业务框架的完善已经成了当下各
摘要:小组合作学习是高职计算机基础经常采用的教学模式之一。本文以PPT封面设计与制作为例进行了基于小组合作学习的教学设计与实施。  关键词:小组合作学习;教学设计;实施  中图分类号:G642 文献标识码:A  文章编号:1009-3044(2020)27-0115-01  开放科学(资源服务)标识码(OSID):  “计算机基础”是高职院校非计算机专业学生的一门通识必修课,目的是培养学生对信息的
摘要:本项目主要是研发一款以独立App为平台,以自媒体作为载体,结合地图导航与大数据技术的校园学习、生活服务交流类 App,旨在帮助在校大学生更加快捷与方便地进行大学校园的学习与生活。目前市面上各种与大学校园有关的辅助类App数量繁多但功能与内容单一,导致学生手机中的有关App数量较多,学习或事务处理时需要频繁切换,无法在同一款应用中进行多项工作或活动。针对这个问题,本项目系统包含多个模块,能与其
摘要:移动通信技术包括了组网技术,多址技术,语音编码技术,抗干扰抗衰落技术,调制解调技术,交换技术及各种接口协议和网络管理等多方面的技术,因此从某种意义上来说,移动通信汇集了当今通信领域内各种先进的技术。而作为高等院校通信类专业的一门重要专业课,《移动通信技术》课程的理论教学是滞后的,该文以地方性院校凯里学院为例,探究当前移动通信课程存在的问题,以及对教学改革的思考。该文旨在提高课程与实际应用之间