面向地址标定的通联日志分布式存储检索系统的设计与实现

来源 :北京邮电大学 | 被引量 : 3次 | 上传用户:jiaranerzhi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的高速发展,网络应用和网络流量不断增长,给人类社会生活、经济带来便利的同时,也给网络管理和网络安全带来巨大的挑战。通联日志是网络会话产生的日志,能很好地从会话级别描述网络。因此如何为高速、长期的通联日志提供可靠存储,如何基于通联日志准确地对IP社会属性进行标定,对于网络安全、网络管理以及网络规划都起着至关重要的作用。现存的面向通联日志的存储方案没有很好地兼顾接收、存储和检索等方面,使得它们的可移植性受到限制。多个骨干网生成的通联日志每秒钟可以达到千万级别,这使得传统集中式存储方案越来越不能满足需求。而后的一些方案借助分布式框架提供可扩展的存储性能,但是这些方案的存储引擎大多基于传统关系型数据库,存储性能有限。本文对通联日志存储方案进行深入学习,以实现支持高速存储、高速查询的分布式通联日志存储系统。另外,本文对传统IP社会属性标定进行深入研究,发现传统的基于端口和行为特征的IP社会属性标定分辨率较低。本文对通联日志进行详细分析,以实现更加准确的IP社会属性标定。本文的主要的研究内容可以归纳为:(1)提出新型的高速通联日志接收框架:DPIO (Driect Packet I/O)。尽管基于传统的Socket API可以比较简单实现通联日志接收,但是其性能不高。而新型网络驱动netmap,可以很好地解决这个问题,但是netmap需要单独维护网卡驱动,实现和维护都比较困难。本文在它们的基础上提出一种新型的通联日志接收框架,实验结果表明DPIO既能解决Socket API接收速率低的问题,同时也能避免netmap的复杂性。(2)设计并实现支持高速存储和快速检索的分布式通联日志存储系统:DCLStore (A Distributed Connection Log Storage System Supports High-speed storage and Fast Retrieval)。DCLStore能够为通联日志提供高速存储能力、高速检索能力,并且通过存储节点的动态增加提供可扩展的存储空间。实验结果,本系统每秒钟可以接收大约2000万条通联日志,并能很好的处理多个网络节点的日志。在查询时可以提供比相同存储容量下的单点存储系统高40倍的查询响应速度。(3)提出新型的IP指标:IP明暗度。传统的基于端口和行为特征的IP社会属性标定虽然实现简单,但是准确率不高。本文首先对通联日志进行深入观察,提出一种新型的IP指标:IP明暗度。而后,本文对全网IP的指标进行基础测量,测量结果表明本文对通联日志处理的结果基本正确。最后,本文利用开源工具对全网IP的明暗度进行计算,并考察其对IP属性标定的影响。实验结果表明,IP明暗度对基于端口和行为特征的IP社会属性标定的结果都有很大的影响。
其他文献
研究的内容包括与机械臂运动规划相关的4个问题:1.非冗余机械臂的运动学奇异问题分析及奇异路径的精确跟踪问题;2.考虑动力学的机械臂点到点最优运动规划组合优化方法;3.一类具
该文从安全性的角度对认证系统的组成与实现进行了深入地分析,并对当前较为完善的、安全的加密技术和算法进行了探讨.在基于SET协议的基础上,为认证中心的构建提出了一个较为
本文提出了一套基于用户端的入侵检测系统技术,这项技术将传统的入侵检测系统隐藏的放在每一个用户的计算机上,通过在该机上捕捉到的信息、日志,来检测、分析、标记黑客的入
该文以"徐州市第四人民医院医疗信息系统集成"项目为背景,结合.NET技术、工作流与IHE框架等多种理论与技术,提出并实现了医疗信息系统的应用软件平台,为医疗信息系统的开发和
该文设计开发了一个基于远程教育的多媒体写作系统.系统以现代远程教育标准体系DLTS (DistanceLearningTechnologyStandards)中的DLTS-9内容包装规范作为系统的设计目标,该文
软件重用一直是软件技术的发展方向,以COM和CORBA为代表的组件技术给软件业的发展带来了革命性的突破,使得三层乃至多层的软件体系结构成为可能.Microsoft更是在原有的COM和M
该文介绍的TINY+编译器是编译原理课程的演示软件.该编译器是在Kenneth C.Louden所编写的TINY编译器的基础上,增加了函数调用及返回语句,同时在数据类型上增加了结构类型和数
该文重点介绍了该系统几个重要模块的设计和实现.系统中与图形有关的设计和实现包括:GIS客户化编辑工具,我们主要采用了ARCINFO自带的VBA编辑环境,重新按照客户需求定制了自
EIS除了要显著地改进可用性外,还必须提供有效的信息支持,使得高级管理人员能够及时地获得决策所需的信息.而将数据仓库技术溶入到EIS的数据管理中,是提高EIS有效性的一种全
该文针对移动代理系统中的安全难以解决的问题,经过深入的分析认为其根本原因在于移动代理的定义和实现方式.为此,我们提出了基于任务描述的移动代理的概念,并据此设计并实现