【摘 要】
：
分布式网络爬虫作为一门新兴技术,已经应用在一些大型商业的搜索引擎系统当中,重点放在分布式技术在网络爬虫领域中,URL去重这一分布式网络爬虫的核心问题上,以基于内存的去
论文部分内容阅读
分布式网络爬虫作为一门新兴技术,已经应用在一些大型商业的搜索引擎系统当中,重点放在分布式技术在网络爬虫领域中,URL去重这一分布式网络爬虫的核心问题上,以基于内存的去重方式为基础,扩展改进传统的广义表数据结构,提出了一种新的基于内存改进广义表的URL去重算法.这种算法与传统的去重算法相比较,在空间效率可行范围之内,有效地缩短了单次去重的时间,使总控服务器上的去重不再成为整个系统的瓶颈.
其他文献
目前小城镇城镇化与产业集群发展面临着良性互动较差,产业结构不够合理,缺乏特色产业,以及对周边辐射有限等问题.小城镇城镇化与产业集群存在着基于聚集-扩散理论、比较成本
为了避免重复征税、完善现行税制体系、转变经济发展方式和产业优化升级，我国决定从2012年1月1日起实施营业税改征增值税试点方案（简称“营改增”）。它是我国“十二五”期间重大
我国近几年文化产业的发展的势头较热，文化消费的潮流也逐渐兴起。由于文化消费是文化产业的终端环节，从文化消费数量和水平两个角度进行研究就显得至关重要。文化消费数量的增
企业创新能力是企业核心竞争力的一项重要指标。在世界经济的新形势下,我国现阶段劳动力成本不断提高、大规模低端制造业竞争力逐渐降低的情况正逐渐引起社会各界的广泛关注。如何培养创新型的人才,以此引导更多对市场和整体经济有益的创业者加入经济转型的大潮中,是需要给予重视并亟待深化理论研究的一项重要内容。本研究通过观察和文献阅读,发现在西方过往的一些研究中,学者们更多地将视野集中于已受过良好教育和熏陶的个体创
由于经济结构向轻型化转变、消费升级以及科技与金融的融合,商业银行从传统的高资本消耗、高成本投入的粗放重型经营模式向内涵集约式的轻型发展模式转变.近几年,商业银行纷
从分子结构上对PAAS的作用机理进行了理论分析,利用静态实验的方法对PAAS在化学清洗钝化预膜中的作用进行了研究,实验结果和理论分析都证明,在磷系钝化预膜工艺中加入一定量
20世纪90年代以来，企业跨国并购的发展势不可挡，跨国并购成为全球直接投资增长的主要推动力和全球经济发展中引人注目的焦点。随着我国加入世界贸易组织，国际跨国公司不断涌入我
在市场经济不断深化、企业竞争不断加强的今天，为了促进高新技术企业健康发展，增强高新技术企业税务筹划意识，进一步完善高新技术企业税务筹划体系，提升高新技术企业税务筹划方案
随着国内饲料企业竞争的不断加剧，饲料企业新的竞争机制正在逐步树立。目前，我国饲料企业正处于市场化阶段，市场主体日趋多元化，产品和品牌竞争更是日趋激烈。另外，随着我国加入WT