论文部分内容阅读
数据密集型计算是高性能计算的一个重要分支。如何提高数据密集型计算的运行效率以及系统稳定性则是海量数据分析处理的瓶颈。为了解决这些问题，笔者研究设计了基于数据密集型计算的作业管理系统。本文首先根据海量数据计算作业的特征选择了“推”“拉”混合的架构模式，设计了跨平台的批作业提交与管理模型；其次，为作业系统各个模块制定了统一规范的接口，以保证系统的易扩展性，并根据数据密集型作业的特点，在服务端提出了作业代理存储策略；采用了消息传输机制实现模块之间相互通信，保证了系统的松耦合性。最后，使用双机热备与容错机制使系统可以健壮运行。