论文部分内容阅读
通过分析开源网络爬虫Heritrix的工作原理及架构，针对Heritrix开源爬虫只能对全网站进行通爬的特点，对Heritrix进行改进，增加了基于Hash算法的增量式抓取模块。实验表明，改进的Heritrix能够有效实现对网页的增量式抓取。
基于Heritrix的增量式网络爬虫研究
【摘 要】
：
通过分析开源网络爬虫Heritrix的工作原理及架构，针对Heritrix开源爬虫只能对全网站进行通爬的特点，对Heritrix进行改进，增加了基于Hash算法的增量式抓取模块。实验表明，改进的He
【机 构】
：
海军工程大学信息安全系
【出 处】
：
软件导刊
【发表日期】
：
2013年11期
其他文献
中国的印刷术和印章是一对珍贵文化遗产,历史悠久,价值斐然。它们从始至兴相互启迪,创新发展;而当强强结合成为图书、图画的收藏印章时,更是相得益彰,是版本鉴定的佐证之一。
液压支架试验台是液压支架在出厂前或大修后进行检验的试验设备,主要对支架的密封性、立柱安全阀的开启压力及支架的强度和耐久性等进行检测性试验,从而确保液压支架的质量和
机构投资者主要存在两种信息优势,一种是抢先私有信息发现优势,另一种是对公开信息的解释优势;已有文献更多的是关注机构投资者对公开信息的解释优势,此处用从分笔高频交易数
目的 探讨血清微量元素锌、铁含量对儿童骨密度（BMD）的影响。方法 选取690例行健康体检的儿童为研究对象,采用超声BMD分析仪检测其BMD情况,比较不同年龄儿童BMD异常率;依据检测
目的研究壮肝逐瘀煎对肝纤维化(HF)大鼠Smad3、Smad4、Smad7表达的影响,探讨其抗HF的作用机制。方法Wistar大鼠采用CCl4复合因素法进行HF造模。对HF大鼠予壮肝逐瘀煎灌胃治疗
<正>随着我国大科学时代的来临,大科学工程建设项目大量涌现。目前,我国投入运行和在建的重大科技基础设施总量已超过40个。随着学科分化与交叉的加快,科技与经济社会发展渗
《敦煌之恋》作为中国歌剧民族化道路上的探索之作,以古代丝绸之路及丝路文化重镇的敦煌为背景,在助推了"一带一路"建设的同时,还把歌剧艺术形式带入了大众的视野。该剧从题