互联网发展趋势日益变快,由互联网产生的日志数据也随之快速增长。网络日志具有海量、多样、异构、动态变化等特点,如何及时有效的处理日志大数据成为互联网公司面临的巨大课题。面对日志大数据,传统单一节点的集中式处理方式已无法应对。对于互联网公司来说,对于日志分析的需求是不断增长和变化的,日志的分析过程要求快速性和周期性,日志分析工程师往往被不断增长和变化的需求困扰,需要投入大量的时间成本和人力成本来跟进。本文研究和分析了分布式存储、计算和调度,梳理了日志大数据分析的流程,利用Hadoop和Hive搭建了日志大数据分析平台,将日志大数据的分析流程化和平台化。本文提出了一种适合日志大数据处理的流程,包括日志的采集、预处理、存储以及面向业务场景的分析四个步骤。采集过程负责将分散在各个服务器中的日志采集在一起,方便统一管理和使用。预处理过程负责将非格式化的日志进行清洗和转换,方便后续分析使用。存储时采用HDFS和Hive。面向业务场景的分析建立在前面三步的基础上,对Hive中的日志数据进行分析。日志大数据分析平台将日志的采集流程、预处理流程以及分析流程进行了建模,抽象出采集任务、预处理任务以及分析任务,并对平台用户开放任务配置接口。用户使用日志大数据分析平台的方式是通过简单配置三种任务,然后交给平台去运行,最后在平台中获得结果,用户不需要关心平台是怎么实现具体的采集过程、预处理以及分析过程。为了高效的调度和执行用户提交的任务,本文实现了任务调度执行引擎,引擎采用master-slave架构模式,实现了带有失败机制的优先级静态调度算法,并采用分布式并行执行的方式执行任务。最后本文并通过实验验证了该平台的实用性和高效性。