基于主题保持的视频紧凑表达研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:lengxiang520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的普及,人们之间的交流可以通过语音视频等更为直观和更具表现力的方式实现。未来随着5G技术的推进,网络、车载视频、安防和体育录像都将出现井喷式增长,这使得视频内容理解和处理工作面临着巨大挑战。
  本文便是在这一研究背景下,期望对复杂视频的内容进行缩减,实现紧凑表达,以促进相关工作的进展。视频内部存在没有效力的视频帧或者片段,而传统方法对视频进行全局描述并未考虑到这种差异。视频紧凑表达的目标就是保留视频内容中的重要部分,实现保持视频类别的视频内容压缩。为了达成这一目的,需要提出挖掘视频内容中那些重要的、对于保持视频类别起到关键作用的视频主题。视频紧凑表达面临诸多挑战:如何对语义单位进行定义?如何验证所给出的语义单位的研究意义?视频内部时序段上语义单位之间是否显著性差异?如何挖掘语义单位中重要的视频主题?如何验证视频的紧凑表达的效能?针对视频紧凑表达所面临的上述问题进行研究,本文以视频语义单位作为研究的基础,确定语义单位的定义并验证其意义;验证语义单位的显著性,提出显著性语义单位的挖掘算法;结合视频主题需要具备类别保持能力这一条件,设计基于基于频繁词的视频隐模式挖掘算法来从同类视频中挖掘有判别力的主题;提出语义边缘自适应算法进一步精确视频主题以提升视频紧凑表达的性能。具体的,本文的研究内容和主要贡献分为以下四个方面:
  首先,本文定义视频语义单位为局部时间区间内所对应的形成完整概念的动作、场景等,以视频语义单位为基础来对视频进行分析。所提出融合视频语义单位和表观特征的角色识别方法,提升了角色识别的准确率,证明了以语义单位为基础的视频内容理解工作的研究意义。
  其次,本文设计了多组实验来验证语义单位的显著性,提出了基于稀疏表示的显著性语义单位挖掘算法来获取视频内部的显著的语义单位,基于语义单位显著性的加权事件表示方法增强了事件检测的分类能力;
  再次,本文从同类型视频出发挖掘具备类别保持能力的显著性的语义单位,即视频主题。利用基于深度特征单词的视频编码策略来描述视频,将视频主题挖掘工作与中文频繁词挖掘任务相融合,设计用于视频紧凑表达的隐模式挖掘算法,将所挖掘的视频主题作为视频内容的直观反应,实现对于视频的紧凑表达。在相关数据集上的实验说明了视频紧凑表达方法的有效性,所提出方法为事件检测和视频内容分析工作带来了意义重大的性能提升。
  最后,为获取更为准确有效的视频主题以提升视频紧凑表达的性能,本文提出时序分布网络来自适应的生成语义单位的边缘。实验表明,所提出时序动作区间生成方法具备优异的区间生成和动作检测能力,显著提升了视频语义分割的性能。基于语义边缘自适应分割的视频紧凑表达性能得以进一步提升。所提出方法在数字多媒体领域的应用,进一步佐证了视频紧凑表达的有效性和广阔的应用前景。
  通过上述研究,本文对视频紧凑表达的各个层面进行了深入的探索,为视频紧凑表达所面临的关键问题提供了切实有效的解决方案。结果表明:语义单位是视频在局部的时间区域内所形成的动作、场景等概念;视频内部语义单位存在显著性,语义单位显著性的加权事件表示方法可以增强视频表示的性能;基于深度视觉单词编码的隐模式挖掘算法能够获取与与人为认知一致的视频主题;基于主题保持的视频紧凑表达,可以为事件分析和视频理解带来更为优异的性能;基于语义边缘自适应的分割方法进一步提升了视频紧凑表达的性能。
其他文献
钙激活氯离子通道(CaCCs)广泛分布于脊椎和非脊椎动物的各种组织中,参与多种重要的生理过程,与癌症和胃肠蠕动障碍等多种疾病有密切联系。自2008年以来,CaCCs的分子基础——TMEM16A被发现并成为治疗与CaCCs相关疾病的重要药物靶点,因此,对其调节剂的筛选成为该领域的研究热点之一。由于目前发现的TMEM16A调节剂种类稀少且多为对细胞副作用较大的化学合成产物,而中药多为天然产物,副作用较
学位
钙激活氯离子通道(CaCCs)首先在非洲爪蟾卵母细胞中被发现,CaCCs对阻断多精症有很重要的作用。研究已证明TMEM16A作为CaCCs的分子基础。TMEM16A可以被钙离子激活,TMEM16A电流具有钙离子依赖性、电压依赖性激活特性和外向整流特性。TMEM16A广泛分布于上皮细胞、嗅觉感觉神经元、痛觉神经元、气管平滑肌细胞、血管平滑肌细胞、胃肠道间质细胞。TMEM16A的表达与多种疾病的发展进
学位
辐射诱变育种因具有高突变率、高存活率、宽突变谱、稳定快等特点已经得到广泛应用,但大多辐射诱变育种研究还停留在诱变植株表观性状的观测及有益突变体的筛选上,对引起突变的分子生物学研究较为滞后。光对植物的生长、形态建成、物质代谢、基因表达等均有调控作用,光敏色素感受光信号并不断地对植物生理和发育过程进行光特异性调节。将辐照与光质双重因素协调作用于诱变育种的研究鲜有报道。这些已成为进一步培育优质植物新品种
组织蛋白酶cathepsinD(cathD)是普遍存在于真核细胞溶酶体中的天冬氨酸蛋白水解酶,在溶酶体的酸性环境下发挥剪切底物降解蛋白的功能。但在本研究中,我们发现cathD还具有非传统蛋白酶活性的新功能。与其经典的在酸性环境中降解蛋白的蛋白水解酶活性不同,在中性环境中,cathD可以作为一种新型的磷酸酶,通过去磷酸化丝切蛋白cofilin参与调控细胞微丝骨架的重组。通过免疫蛋白印迹和免疫荧光化学
脊椎动物脊髓内的神经网络是中枢神经系统控制身体动作和行为的重要组成部分。V2居间神经元是脊椎动物脊髓腹侧运动神经网络内的一类将脑部信号转换为协调的身体动作和控制运动速率至关重要的神经元。V2居间神经元发生部位,发育过程和分化类型在脊椎动物中是保守的。在所有脊椎动物中,V2居间神经元都包含激活型V2a和抑制型V2b居间神经元两个亚类。V2a和V2b在分子特征和功能上都不同,但都是由神经管腹侧的P2前
学位
当前,癌症依旧严重威胁着人类健康。据2015年世界卫生组织对全球172个国家人口死因的数据统计,癌症是其中91个国家人口过早死亡(70岁前)的首要或次要原因,是另外22个国家人口过早死亡的第三或第四原因。2018年,结肠癌成为全球发病率排行第四,致死率排行第五的癌症。  许多肿瘤细胞,即使是在氧气充足的条件下,也会优先通过糖酵解途径,而不是经线粒体三羧酸(Tricarboxylic acid,TC
学位
背景:  肺癌是对人类健康和生命威胁最大的恶性肿瘤之一,其每年的发病率和死亡率在所有类型的癌症中是增长最快,且呈逐年上升趋势。人类基因组中98%以上的基因属于非编码RNA(non-codingRNA,ncRNA)。LncRNA是一种至少拥有200个核苷酸的一种不编码蛋白质的RNA。大量研究表明,肿瘤的形成和演进和lncRNA的异常表达有密切的关系。LncRNA的表达在肿瘤组织和细胞中相对于正常的组
学位
植物叶片衰老是一个受到严格遗传调控的程序性细胞死亡过程,受到各种內源信号和环境刺激的影响。丝裂原活化蛋白激酶(Mitogen Activated Protein Kinase, MAPK)级联是真核生物中高度保守的信号通路。在拟南芥中,两个功能高度冗余的MAPKs(MPK3和MPK6)及其上游两个功能也高度冗余的MAPKKs(MKK4和MKK5)组成一条信号级联,在植物生长发育以及免疫反应等生物学
学位
自噬是真核细胞中高度保守的依赖于溶酶体的一种降解途径,能够降解细胞内异常聚集的蛋白以及细胞内受损的细胞器。自噬的异常和人类许多疾病的发生密切相关,如:神经退行性疾病,代谢类疾病及肿瘤等。自噬的发生过程主要分为四个阶段:自噬的起始,自噬体的延伸与闭合,自噬体和溶酶体的融合,自噬底物的降解。这些过程由一系列自噬相关蛋白参与,并受到细胞内自噬诱导信号的调控。近年来研究发现,自噬相关蛋白受到乙酰化修饰的调
目的:本次研究主要利用CRISPR/Cas9基因编辑技术在体外建立SCN1A基因稳定敲除的细胞系并采用RNA-seq分析细胞的基因表达谱的变化。通过检测mRNA水平的变化分析SCN1A与DS发病之间的关联,并希望为Dravet综合症的治疗提供一些线索。  方法:①根据SCN1A启动子区序列设计sgRNA,并构建CRISPR/Cas9敲除质粒(pX459-SCN1A)。②将pX459-SCN1A质粒
学位