近年来,互联网技术飞速发展,给人们的生产生活带来巨大便利,但也面临着较大的安全问题。当前各种网络安全防御技术不断涌现,日志分析技术已经成为主动安全防御体系的重要组成部分,主要通过对操作系统、应用程序、设备和安全产品产生的日志数据进行分析和关联,进而发掘高级复杂的安全攻击事件。目前业内有很多优秀的日志分析工具,例如Loggly、Sumo Logic、Splunk等,但它们存在着功能单一、性能低、不具备可视化界面等问题,ELK作为开源日志分析工具,能够高效地对日志进行采集、存储、分析和可视化展示,受到研究人员的极大关注。但是ELK在日志预处理、数据倾斜规避、日志分析能力等方面还存在很大的提升空间,因此本文结合Spark在大数据处理方面的优势,同时重点研究数据倾斜导致性能影响等方面问题的解决方法,设计了一种结合ELK和Spark进行日志分析的实现框架,并提出一种基于后缀键值离散重分区计算的性能优化算法的解决方案。本文主要工作如下:(1)提出了一种基于后缀键值离散重分区计算的性能优化算法。算法首先根据数据量信息构建键值频次分布图,并基于方差和平均绝对偏差的数据模型对数据倾斜率进行定义;然后对数据量不均衡键值添加随机后缀;其次基于离散重分区算法分散集中计算的任务;最后实现计算任务量分配的均匀化。通过实验验证,该方案能够有效的对任务进行均匀分区并提高日志分析工具作业执行的性能。(2)提出了一种基于混合阈值会话识别的数据预处理方法。数据预处理方法分为三步,数据清洗、用户识别和会话识别。首先对日志数据进行完备性检查;其次根据IP地址、ID和网络拓扑结构识别用户;最后基于混合阈值会话识别算法对每个集合进行会话识别,该算法基于会话时长和访问间隔阈值定义了滑动会话时长阈值,以阈值判定用户是否开始新的会话。(3)设计并开发了一套基于ELK的安全日志分析工具。首先对工具整体的功能性和非功能性需求进行分析;其次对架构进行规划和设计;最后基于ELK技术栈、Spark大数据处理框架和RabbitMQ消息队列,设计并实现各模块。(4)针对基于ELK的安全日志分析工具相关功能进行测试验证。实验结果表明,工具能够正确的采集、分析、存储日志,并提供日志查询、展示功能。同时检测到异常日志时能够以告警信息的形式发送给系统工作人员,为其提供日志可视化视图快速定位原因。经过优化后的工具,索引延迟在10毫秒以内,CPU使用率在50%以下,执行效率增加近50%,具有一定的应用参考价值。