天网FTP资源搜索引擎是对中国部分IP集合进行扫描,获取其中匿名FTP站点文件信息来为广大互联网用户提供资源搜索服务的垂直搜索引擎。随着中国IP集合以及引擎扫描集合变大,旧批量爬虫搜集系统所花时间增加,服务数据的时新性逐渐成为引擎的重要问题。本文的主要任务是在对原有天网FTP资源搜索引擎爬虫系统的调研和分析的基础上,在已有的硬件及网络带宽的条件下,设计和实现了一个基于FTP站点RANK的、分布式的、具有很好扩展性的、数据保持很好时新性的增量搜集系统,解决了爬虫搜集系统中存在的扫描周期长、索引更新慢的问题,以及搜索结果页面排序效果不好等相关问题。　　 论文首先介绍了天网FTP资源搜索引擎,对当前通用搜集系统存在的问题进行研究分析,并提出两阶段解决方案;第一阶段通过带MD5备份的搜集策略将单服务器的搜集时间从8天降到4天左右,然后又通过多组数据分析,验证了增量搜集的必要性。于是在第二阶段方案中,我们先研究了网页增量搜集系统的研究现状,并针对FTP站点变化的独有特点,提出了天网FTP资源搜索的增量搜集策略。　　 该策略主要涉及到增量搜集模型、增量搜集算法的设计和实现、各类FTP站点更新预测算法的设计和实现、算法所依赖的FTP站点RANK值模型、以及最后增量搜集系统的整体设计、各个模块的实现等问题。本文后续描述了目前设计和已实现的天网FTP资源搜索引擎的分布式搜集系统架构,以及基于FTP站点RANK的增量搜集子系统内部模块关系图。并对各个模块的运行逻辑、实现过程、数据结构、类图以及其他相关问题进行了介绍。　　 最后,综合当前主流的网页增量搜集系统评测方法,本文针对天网FTP资源搜索的增量搜集系统,定义了文件变化度和单位预测代价两个评测标准,并对相关数据进行分析,对增量搜集模型不同参数组合的运行效果进行了评比,得出结论:基于站点RANK及上次变化历史的更新度预测算法组合能够以较低成本抓取每天变化的主要数据,并很好地缩短索引更新周期,取得较好的增量搜集效果。