作为一个拥有广大用户群的桌面产品,腾讯公司QQ电脑管家每天都会产生海量的用户数据。后台中心对于用户数据的处理与分析对于改进产品具有重大的意义。公司数据平台部的计算资源需要支持核心业务因而申请成本高,所以搭建一个灵活有效的分布式计算框架,利用空闲的开发机计算资源来完成日常统计与数据处理工作具有较高的实际意义。MapReduce作为一个海量数据处理的架构被广泛用于各大领域之中。本文通过对于MapReduce架构的研究,进而提出并设计实现了一种基于MapReduce的分布式编程框架来简化对于日常海量数据处理的编程工作,以满足管家后台的数据处理需求。在设计与实现过程中,重点放在了此编程框架的任务调度与容错功能上面,以期待获得良好的错误恢复能力。在功能测试方面,本文使用一个QQ加速状态上报的词频统计程序来进行测试,并人工对一个处理节点施加障碍以验证容错机制是否可以探查到落后任务的产生。在性能测试方面,本文使用了词频统计程序与记录排序程序来模拟日常需求中的统计与数据处理问题。基于这两个测试程序对本框架的任务响应时间,总机器时间与加速比进行了分析,以证明本编程框架的确具备处理海量数据的能力。通过以上完成的工作,本框架可以搭建在后台中心的开发机群上以完成管家日常统计工作与数据处理工作的计算任务,并具有良好的计算能力、容错性与可扩展性。