【摘 要】
：
传统的网络日志分析系统面临数据来源的多样化、文件分级优化存储、处理效率低和系统时延较长等问题。文章设计了一种基于分布式平台Hadoop的实时网络日志分析系统原型。首先
【基金项目】
：
甘肃省高等学校创新基金项目,项目编号:2020B-164,甘肃政法大学校级科研资助项目,项目编号:GZFXQNLW003
论文部分内容阅读
传统的网络日志分析系统面临数据来源的多样化、文件分级优化存储、处理效率低和系统时延较长等问题。文章设计了一种基于分布式平台Hadoop的实时网络日志分析系统原型。首先,利用Filebeat组件采集各节点日志文件,根据文件分级归档管理机制对数据过滤、修剪之后发送至Kafka;然后,Kafka根据不同主题把日志流进行分组,实现分级优化存储;最后,使用Kibana工具实现日志文件的高效搜索、可视化分析等操作。实验结果表明:采用模块化设计方案降低了系统的耦合性,文件分级优化存储可以缩短数据处理时延,Kafka服务
其他文献
目的通过建立动态库存管理机制,保持血液供需总量平衡和库存结构平衡,让受血者使用更多的新鲜Rh(D)阴性血液。方法对2005～2009年潍坊市无偿献血中筛选出的合格Rh(D)阴性血液,
目的：子宫内膜癌（Endometrial Carcinoma）是女性生殖系统常见肿瘤之一，占女性生殖道恶性肿瘤的20%-30%。近年来子宫内膜癌的发生率在全球呈上升趋势，并且发病年龄也逐渐年轻化，严重
当今国产化需求越发迫切,发展自主可控国产化元器件已成为必然趋势。本文设计并实现了基于PID算法的四开关数字电源。该电源以STM32F334为主控芯片,其它核心芯片和分离元件均
新中国成立后,民生问题作为与人民生活息息相关的现实问题,一直以来都受到全社会的广泛关注。毛泽东作为党的第一代领导人,他对于民生问题的研究和实践给我们留下了宝贵的财
对青年发展的现状和程度进行精准的评估,就必须设立青年发展指标。设立青年发展指标,既是了解青年发展诉求的民意调查,又是治理青年发展事务的科学手段。青年发展指标的设立
高校女硕士研究生(以下简称女研究生)的年龄阶段处在婚嫁阶段,她们的婚恋得到社会各界的关注。对她们婚恋观的研究有两个方面的意义。从实践上看,对高校女研究生婚恋观进行研