人类视觉系统具有很强的信息筛选能力。它能够根据当前视觉任务运用注意机制，主动选择有用信息，过滤无关信息。这种注意引导的方式分为自底向上和自顶向下两种。如何将这种机制量化成计算模型并引入视频搜索领域，已经成为学术界的研究热点和难点。　　 本文分别从自底向上选择性视觉注意模型建立、自顶向下选择性视觉注意模型建立以及如何将这两个模型同时应用到基于语义的视频搜索三方面内容进行研究，提出了一些新的算法和框架，主要内容如下：　　 提出了一个新的自底向上选择性视觉注意模型。首先采用频谱残差算子得出细节敏感显著图，随后利用颜色中心.边缘直方图算子得出颜色对比度敏感显著图，最后基于条件随机场模型对两个显著图进行融合。实验结果显示，新模型较Itti、Hou等人的模型更加符合人类的视觉注意机制。　　 创新性地提出一种自顶向下基于任务驱动的选择性视觉注意模型。引入自然语言处理技术对视频搜索主题包含的关键语义信息进行提取和分析，并通过自组织映射网络实现向图像显著的自动映射。实验结果表明，该模型达到了根据任务参数(输入的关键字)自动反馈图像中对应视觉注意区域的良好效果。　　 建立了一个基于贝叶斯推理融合自底向上和自顶向下显著信息的视觉注意模型，将注意指向高层概念最有可能出现的图像区域，应用到基于语义的视频搜索任务中。系统在TRECVID2010及2011KIS搜索任务上的评测结果表明新框架比当前典型的视频搜索框架拥有更快速和准确的检索性能。