随着互联网和各个行业不断发展,数据也呈爆炸性增长。大数据环境下如何快速从海量数据中找到有价值的信息,并高效地从中抽取知识形成图谱是亟待解决的问题。本文分析了面向事件知识图谱和面向篇章理解知识图谱整个构建过程,结合现有技术设计了多种并行数据处理方法,将这些方法应用到图谱构建过程中各个阶段。本文的主要工作如下:(1)数据采集阶段,为了快速采集数据和对数据进行初步处理,设计并实现了一种基于主从模式的分布式数据采集架构,架构中各节点以消息队列为消息中间件进行通信和数据传递,使用该架构能灵活地配置节点和高效地进行数据采集。在文中实验环境下相比单节点采集效率能够提升约4倍;(2)知识抽取阶段,从采集的篇章/事件数据中抽取实体和关系。为应对抽取过程中存在的多种算法和不同大小的数据集,基于Spark和消息队列设计了三种数据并行处理方式。实验表明,在文中实验环境下,根据不同算法场景合理地选择并行化方法,相比单节点处理能提高知识抽取效率约13倍;(3)知识表示阶段,为解决传统知识表示方法的不足,采用了将知识图谱映射到向量空间的表示学习方法。分析了现有分布式深度学习框架,并将其应用到表示学习和深度学习模型训练中。实验表明使用文中实验环境和并行化方法相比单节点下处理,能够提高表示学习效率约5倍;(4)知识加工阶段,主要分析了共现关系发现相关算法的并行化方法。为了高效地找出实体间关系和篇章/事件间关联,设计了并行化关联网络构建和聚类融合方法。同时对基于文本实体相似度计算的关联网络构建算法设计了一种更为高效的方法,对聚类融合算法进行了优化以降低计算量。实验表明文中集群环境相比单节点处理,能够提高关联网络构建效率约9倍,提高层次聚类融合算法效率约4倍。(5)为了集群管理和并行算法使用的便利,基于Web框架设计了一种知识图谱并行算法管理平台。该平台不仅提供了并行算法启动的UI接口,还能可视化实时监测集群状态。