【摘 要】
:
伴随着信息技术以及各种互联网企业的迅猛发展,面对爆炸的数据以及种类繁多的新业务,传统老旧的运维方式已经不能满足一个大型企业的需求,高昂的人力成本也是人工运维必须要去面对的一个问题。在此场景下,一个高智能化的运维系统显得尤其重要。因此,针对上述问题,人们提出了一种基于机器学习的智能化运维(AIOps)技术来解决这些困难。容量分析是智能运维(AIOps)中极为重要的一个部分。本文研究的电信运维容量分析
论文部分内容阅读
伴随着信息技术以及各种互联网企业的迅猛发展,面对爆炸的数据以及种类繁多的新业务,传统老旧的运维方式已经不能满足一个大型企业的需求,高昂的人力成本也是人工运维必须要去面对的一个问题。在此场景下,一个高智能化的运维系统显得尤其重要。因此,针对上述问题,人们提出了一种基于机器学习的智能化运维(AIOps)技术来解决这些困难。容量分析是智能运维(AIOps)中极为重要的一个部分。本文研究的电信运维容量分析系统,可以对公司系统的资源结构进行优化和调整,在一定程度上解决了系统资源分配的问题,可以极大地节约时间和人力成本。容量分析系统借助人工智能技术,使用现有的机器学习模型对收集的海量日志数据进行分析建模,从而解决一些之前没办法解决的问题。基于上述背景,本文拟在Hadoop环境下,结合SpringBoot框架,使用Java语言设计并实现一个面向电信运维的容量分析系统,借鉴国内外最新研究内容,确定本课题主要研究内容如下:(1)本文设计并实现了基于Hadoop的电信运维容量分析系统。首先对电信运维容量分析系统的基本需求进行分析。在明确了系统的整体需求后,结合AIOps的技术特点设计了系统的总体架构,技术架构以及功能示意图。最终基于SpringBoot框架,使用Java语言实现了各种子系统以及模块,系统部分实现结果截图以及重要代码均在本文中有所展示。(2)采用Hadoop框架,使用分布式文件存储系统(Hdfs)解决了海量日志数据存储的问题。在日志数据收集的问题上用到了中间件,结合分布式数据收集系统对海量数据进行收集,解决了日志数据实时导出的问题。建立Hive数据仓库,解决了日志数据维护的问题。(3)使用SpringBoot整合MapReduce计算引擎,用Java语言编写MapReduce程序对海量日志数据进行分析和计算,为算法模型提供相应的数据输入。(4)结合Spring Cloud(微服务)的一些组件,实现对系统模块的解耦和对算法服务的远程调用。最终完成了整个系统的实现,增加了系统的可用性。使用Zookeeper作为整个系统的配置注册中心,统领整个分布式集群,解决了系统的一致性和可靠性的问题。
其他文献
智能交通系统中,道路运动障碍物的检测跟踪一直都是一个重点的研究内容。由于行车过程中车载摄像头运动导致背景运动,使得视频中存在运动的障碍物与背景两个相互独立的运动导致目标检测和后续跟踪困难。对于在汽车辅助驾驶系统中,道路上运动障碍目标的检测时由于车载摄像头运动引起的背景复杂以及对检测跟踪结果的实时性准确性等技术要求,提出一种有效的解决方案。该论文主要工作有:(1)目标检测问题上,将视频图片帧进行感兴
胚胎干细胞是从胚胎发育早期的囊胚的内细胞团内分离出来的一类细胞。胚胎干细胞的基本特性是能够自我更新和具有全能性。自我更新是指在特定的培养条件下,胚胎干细胞具有无限增殖的能力。全能性是指其能分化为体内源自三个胚层的所有类型的细胞。它的这些基本特征使其在理论研究以及人类疾病的治疗方面具有多种重要应用。研究表明,在胚胎干细胞表面存在特异的分子,可以作为胚胎干细胞分离、鉴定以及纯化的标志物。然而,目前已经
近年来,目标检测算法不断推陈出新,检测速度与识别精度都有了很大的提升。单阶段的检测模型形成了一个相对固定的算法框架,但模型本身存在一些缺点和不足。首先,单阶段目标检测模型采用人为设定参数的方法生成检测边框,容易出现检测边框泛化性差的问题,造成模型在不同数据集的模型性能差异很大。同时,模型的检测边框在回归过程中,边框回归损失值并不能很好的反应出边框回归效果的真实好坏。具有相同回归损失值的边框的回归效
随着互联网和大数据的快速发展,全球每时每刻都在产生海量的,结构化或者非结构化的数据,这些数据格式多样化,有图片,文本,音频,视频等等。由于数据的多样化以及数据表示的多样性,大数据不经过结构化处理在许多情况下将无法有效的应用。本文重点研究多源异构的非结构化、半结构化初等数学领域数据如何表示为结构化数据,并依据数学领域知识图谱构建的方式构建初等数学概念知识图谱。然后将构建完成的概念知识图谱应用到纯数学
近年来云计算发展越来越迅猛,并在大流行中对全世界的复苏发挥重要作用,而虚拟化作为云计算的关键技术之一,也在不断地发展,作为软件虚拟化应用之一的桌面虚拟化技术在企业中也得到更广泛地使用。与此同时,Android手机全球出货量趋于收紧,受大流行影响,这一情况进一步加剧。目前市面上桌面虚拟化技术大多面向传统PC系统,缺乏对移动端系统的支持。Android手机长期受困于恶意程序偷取用户隐私现象;不仅如此,
随着中国城市化进程的加快,城市汽车保有量不断增加,城市交通需求呈现增长态势,引发出交通拥堵、交通事故等一系列关乎民生福祉的问题,严重阻碍了城市的高质量发展。在当前的城市智能交通系统中,快速准确的交通流预测是城市交通控制的必要前提,在智能交通系统中发挥着重要作用。基于以上背景,本文对道路数据特征展开研究,提出了不同交通原始数据情况下的两种短时交通流预测方法,设计并实现了一个短时交通流预测系统,主要工
随着科学技术的发展,各种各样定位设备不断涌现,可获取到轨迹数据的数量与种类迅速增长。对获取到的轨迹数据进行储存,分析在行为识别、交通规划、城市安全与防控等方面都可以发挥重要作用。其中,对人类轨迹的研究可以获取行为方式、个人偏好等关键信息,对许多领域的进一步研究都有推进作用。因此研究行人的轨迹预测算法具有重要意义。传统的轨迹预测方法基于数学统计模型对行人的运动模式建模难以适用于复杂场景。复杂场景中存
在城轨车辆运行试验过程中发现了车辆存在紧急通风逆变器不能启动的问题,针对该问题分析逆变器的启动工作原理,核查设备与车辆的接线点位及线缆的走线路径,最终确定问题的根本原因是由于设备干扰导致误触发停止信号使逆变器无法启动,经研究对电路进行改进,并经过实际运用验证表明改进措施行之有效。
现代社会,随着互联网技术的高速发展和信息化时代的到来,全球信息量暴增,人工处理信息的速度远不能满足人们的需求。自动文本摘要技术可以帮助人们快速从文本中精炼出重要信息,从而提高人们信息获取的效率。自动文本摘要技术主要分为抽取式和生成式两大类,两类方法有不同的使用场景。为了满足不同的应用需求,本文对抽取式的TextRank算法和生成式的PreSumm模型进行了研究,并对其中存在的问题提出了改进方法,提