随着计算机互联网行业的蓬勃发展,互联网所提供的服务已经涵盖了人们生活的方方面面,互联网提供的服务主要通过网页的形式呈现给用户使用,信息搜索已成为互联网中最有价值的研究与应用领域。通用搜索引擎,如百度、Google、360搜索等搜索引擎,能够将互联网中的众多网站信息进行整合,提供信息导航的作用,而垂直搜索引擎则主要服务于某一特定行业、特定专业的搜索引擎,是对通用搜索引擎功能进行的延伸和细分化。垂直搜索引擎为用户提供的信息是范围极为缩小、极具针对性的具体信息,而不像通用搜索引起那样提供成百上千的相关网页。由于垂直搜索引擎的专、精特质,特定行业的用户更加青睐于垂直搜索引擎,因此研究垂直搜索引擎的关键技术具有重要意义。本文的研究重点是在当前现有的垂直搜索引擎的基础上,设计基于分布式计算技术的垂直搜索抓取平台,通过这套平台系统能够对专业领域的网站,快速实施及部署所有重要信息的抓取。本文的主要工作包括:(1)针对垂直搜索抓取系统的基本需求与关键核心问题进行研究,分析了垂直搜索抓取系统要实现的基本功能需求,提出了基于字符串匹配的可配置抓取策略的基本解决方案。(2)针对互联网行业信息的巨大规模及网络复杂性,分析设计了跨网络的分布式抓取策略部署及调度方案。(3)最后,以互联网中的手机应用分发网站作为测试。测试结果表明本系统能够快速的实现对多个手机应用分发网站的全量抓取及增量抓取行为,系统抓取得到的信息具有较好的结构化程度。目前,该系统已经初步投入实际使用并取得了较好的效果,本系统的研究和设计对国内相关的垂直搜索抓取引擎具有一定参考价值与借鉴意义。