基于Hadoop和Django的大数据可视化分析Web系统

来源 :东华大学 | 被引量 : 25次 | 上传用户:RaymanL
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的发展让数据量呈现指数增长,当今世界,人类已经进入大数据的时代,如何从海量的数据里发掘有价值的信息变的至关重要。将抽象和结构复杂的数据变成易于人类理解的信息是数据可视化技术研究的主要内容。数据可视化技术是大数据领域的研究热点之一,有着巨大的研究价值和应用价值。本文结合实际的大数据可视化项目,探究了如何使用开源的Django Web框架构建基于Hadoop计算平台的大数据可视化分析Web系统,详细介绍了系统的设计方案,并分模块介绍了设计内容。针对系统内测阶段暴露出的问题,从多个方面进行了优化和改进,包括前端性能优化、Django应用层优化、PostgreSQL数据库优化等,总结出了大量的Web系统优化经验,具有一定的借鉴意义。项目中Web系统的数据源来自于Hadoop计算平台。Hadoop计算平台对成千上万的数据处理任务进行调度,调度算法的好坏直接影响数据处理的效率。本文研究了Hadoop平台作业调度算法。首先深入分析了Hadoop计算平台三种常用的作业调度算法先进先出调度算法、公平份额调度算法、计算能力调度算法的算法原理和各自的优缺点,随后分析了包含“移动计算”思想的延迟调度算法比三种常用调度算法的优秀之处和自身的不足,在延迟调度算法的基础上提出了一种考虑节点负载情况的改进型延迟调度算法,给出了算法分析和仿真结果,证明改进型延迟调度算法带来更高的作业调度效率,具有一定的实用价值。最后,对项目的架构相关问题进行了分析,这些问题包括前后端存在职责不清晰的现象,前后端代码之间存在干扰,随着系统功能扩展相关问题会越来越突出。分析了淘宝开发团队提出的前后端分离解决方案,并结合本项目架构特点对系统未来的架构改进进行了展望,引入NodeJS作为中间层,彻底消除前端和后端之间的代码耦合,最终提高开发效率和降低系统维护成本。
其他文献
我国基础教育改革已经经历了20多年的发展,如今已取得显著成果。但是有关我国少数民族地区课程的改革,还是显露出了一些问题。本文将从我国民族地区教育课程的设置、开发与利
<正>教学内容:人教版《义务教育课程标准实验教科书·数学》三年级下册第88~89页。教学目标:1.认识并能正确的读、写小数,初步理解一位小数、两位小数的意义。2.经历小数意义
目的 分析白血病肺部并发症影像学特点 ,提高诊断白血病肺部并发症的水平。方法 分析 2 0 0例白血病肺部并发症的影像学特点。结果 并发症的致病因素 :单一细菌感染占 3 3
目前通用工程机械涂料中,环氧树脂涂料配套聚氨酯涂料是主流产品,多为溶剂型涂料,施工VOC大多在500~600 g/L,环境污染严重,减少VOC排放成为市场和环境治理的迫切需求。与粉末
京剧《生死恨》,是20世纪30年代初,中华民族遭受日本帝国主义侵略的危急时刻,一向忧国忧民的梅兰芳,为激发国人爱国热情而组织编写的一出古装戏。据梅兰芳多年后回忆,从20世
目的:探讨阿立哌唑合并小剂量氯氮平治疗精神分裂症的疗效及安全性。方法:阿立哌唑合并小剂量氯氮平治疗精神分裂症40例,采用阳性阴性症状量表(PANSS)、副反应量表(TESS)评定
通过对成都保险培训市场在培训内容、方式、时间及成本等方面调查发现 ,成都保险培训市场应在选择保险公司类别、受训者的层次及培训费用承担方进行市场细分 ,培训机构应结合
光电三极管具有伏安,光照,温度,功率等多种特性,正确选择使用某种型号的光电三极管之前需要熟悉其特性,因此需要一种便携、廉价、易操作的测试仪对光电三极管的特性进行测试,
疫情防控常态化条件下抓发展,良好营商环境是撑起发展之稳的“先手棋”。把失去的时间抢回来,把发展的节奏拉上来,需要广大企业积极作为、主动出击,离不开政府以更优的服务、更精
报纸