基于RDMA的网络流量分布式缓存技术研究

来源 :贵州大学 | 被引量 : 0次 | 上传用户:yuleweiyuan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前网络安全日益严峻,攻击手段越来越多元化,需要对网络流量进行更加精细化的分析,但随着互联网的不断发展,网络带宽在逐渐增加,已经从原来的10Gbps上升至100Gbps,甚至更高达到200Gbps,对网络流量进行精细化分析会给网络流量分析工具及其相关应用带来巨大的性能压力。此时,利用分布式系统具有高吞吐、高并发的性能特点,对网络流量进行分布式缓存,再对网络流量进行多任务、并行式的精细化分析及检测,不失为一种解决方案,但是由于现在工业界中,许多的分布式缓存系统对网络流量的缓存具有以下问题:首先,大部分的分布式缓存平台针对的是通用数据类型,例如字符串、列表等数据类型,而对网络流量的缓存不具有其专用性,无法满足网络流量应用的相关需求,例如TCP流的查询;其次,这些分布式缓存平台基本上使用TCP/IP协议进行节点间的通信与数据传输,无法满足在大规模网络流量场景下对于数据传输的高性能需求。针对上述问题本文开展了如下工作:针对目前分布式缓存平台对网络流量缓存不具有专用性问题,设计并实现专门针对于网络流量的分布式缓存平台并提供专门针对网络流量应用的相关服务,其中包括流量缓存、流量获取以及TCP流查询。针对传统分布式架构中节点间网络通信与数据传输性能较低问题,利用RDMA具有高吞吐量的性能特点,采用新型网络通信技术RDMA以及Mellanox网卡硬件去提高分布式系统中节点间网络通信与数据传输的性能。整个平台主要包含了Master模块、Slave模块、RDMA全异步式通信模块,以及为了保证分布式平台各个节点间能进行正常的交互,对节点间的通信协议进行了详细设计。在整个平台开发完成后,通过构造不同类型的网络数据包,对该平台的吞吐量、流量并发查询性能进行了多维度的测试,测试结果表明在六个从节点下,可以支撑接近200Gbps的流量缓存及获取、每秒十万次的流量并发查询性能。
其他文献
高中化学新课标主张结合学生已有的经验和将要经历的社会生活实际,引导学生关注人类面临的与化学有关的社会问题,培养学生的社会责任感、参与意识和决策能力,强调教学中教师应重视STSE主题内容的选择和组织,紧密联系生产、生活实际。文章以新课标为指导,对课标中与STSE主题内容相关的情境进行梳理,并借助案例对基于STSE问题解决的化学教学的目标进阶及不同教学形态展开探讨。
随着社会不断发展,城市化不断推进,越来越多的通讯基站,输电线高塔,气象观测站,新能源(光伏,风能)发电设施等基础设施被建立,相关的检测维护工作随之而来。然而,由于地理环境等限制,尤其是在贵州地区山地丘陵地占92.5%,如果在贵州发展包含光伏等新型能源,难以避免地,要在这样的特殊地理环境修建相关的电力设施,这些设施通常位于开阔的山顶或者山坡上,远离公路。不论巡检还是维修,都需要人力畜力。由于在复杂地
颜色对于我们人类具有极其重要的意义——它是视觉审美的核心,也是对自然界事物的物理属性、生理属性的体现,对我们的生活、文化影响深刻。图像彩色化技术是对图像或视频进行彩色化的过程,彩色化后的图像更有利于图像特征的提取与表达。随着计算机科学的不断发展,图像彩色化技术在影视资料保护,文物修复,医学图像处理和太空探索领域中发挥着重要作用。图像彩色化技术通常可以分为两类:用户引导型的彩色化和数据驱动型的彩色化
乌蒙凤鸡头部有一簇细长羽毛,下面覆盖着的头骨有一明显瘤状突起,这是凤头鸡的典型头骨结构,其调控基因位于常染色体上,为不完全显性遗传,与脑疝有关,但其形成和发育的表观遗传机制尚不清楚。本试验以乌蒙凤鸡为研究对象,将全基因组甲基化测序(Whole genome bisulfite sequencing,WGBS)和转录组测序(RNA-sequence,RNA-seq)技术相结合,以期找到调控凤头性状的
行人检测与识别是计算机视觉中一个重要的研究领域,对现今人类生活水平的提高具有巨大的意义,在自动驾驶、智能监控、人机交互和运动分析等领域都发挥着重要的作用。实际场景中存在复杂的背景、变化的光照、不确定的行人姿势及多样化的衣物,这些因素使行人检测的难度不同于其它目标检测。本文在分析现有算法的前提下,运用计算机视觉和数字图像处理方面的知识,提出了改进算法,对图像和视频中的行人目标进行检测,最后对视频中的
山东能源集团党委充分发挥党组织在维护稳定中的作用,积极探索和实践"党建+信访"工作模式,为企业改革发展营造和谐稳定的环境。坚持筑基固本,强化模式体系建设一是增强组织合力。结合信访工作实际,加强党组织建设,健全党支部和党小组,配齐配强党员领导干部,发挥离退休党员干部的作用,依托党组织和党员共同做好信访稳定工作。二是严格责任落实。
期刊
目的:分析胰岛素瘤患者的临床及病理特征。探究胰岛素瘤的定性及定位诊断方法的选择,为临床上胰岛素瘤的诊疗提供经验。方法:收集武汉协和医院2009年4月至2019年5月期间经手术病理证实为胰岛素瘤的57例患者的病例资料,分析其人口统计学、病史特点(发病年龄、病程、既往疾病史、临床表现)、实验室及影像学检查、病理学报告(大小、转移、Ki指数、免疫组织化学染色)等资料,对纳入对象进行WHO分级和TNM分期
圆冠叶蝉族Athysanini隶属于半翅目Hemiptera叶蝉科Cicadellidae角顶叶蝉亚科Deltocephalinae,为角顶叶蝉亚科中一个较大的族。本文综述了圆冠叶蝉族的国内外研究概况,介绍了该族的分类特征,对该族已知的分类单元进行厘定和详细的描述,并对该族昆虫的地理分布格局进行了探讨和对属间的系统发育关系进行了研究。1.分类研究论文共记述中国圆冠叶蝉族23属89种,其中含2新属、
含4.5%Si的取向高硅钢具有低铁损、低磁晶各向异性的性能,可应用制备变压器的铁芯。传统的3.0%Si硅钢通过二次再结晶获取较强的Goss织构使硅钢薄带沿轧向具有优良的磁性能。目前4.5%Si取向高硅钢产品只在实验室研究,未能实现工业生产。本文以MnS和AlN为抑制剂,采用一次及二次轧制法制备了 0.2~0.3mm的有强η再结晶织构的高硅钢薄带。通过对二次再结晶过程中的织构演变规律分析得出以下结论
近年来,体形检测识别已经成为一个十分热门的话题。在视频检索、刑事侦查、智能制造、安防工程等实际场景中,体形检测识别拥有极大的应用价值。由于传统的体形检测识别测量方法复杂,且易受衣着、环境等因素的影响,使得体形检测识别仍然是一个极具挑战性的问题。本文研究了一种体形检测识别算法,利用人体轮廓的宽度和高度的比值来描述体形,分别从人体主躯干提取、体形异常数据检测、异常体形数据均衡化、体形识别等方面展开探讨