基于Hadoop的多元回归大数据预测方法研究

来源 :大连交通大学 | 被引量 : 1次 | 上传用户:TNicholas
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着“互网络+”时代的到来,网络计算机的应用已然成为人们普遍关注的焦点。互联网技术早已渗透到人类社会的各个领域,云计算以及各类新型社交网络平台的兴起使得人类社会的数据量和数据种类不断扩张,大数据的存储、管理和分析为人们带来了极大的挑战。云计算能够使用大量的廉价计算机采用集群来取代价格高昂的服务器,在很大程度上降低了计算成本。Hadoop的出现为人们解决海量数据提供了优良的平台,与传统的数据处理平台相比,它的好处就在于不仅能够对大规模数据进行存储、处理和分析,还能够在处理速度和计算性能上达到很好的效果。本论文通过借助大数据Hadoop分布式平台在海量数据处理上的优势,从而提高算法预测的效率及实用性,提出了基于Hadoop的多元回归大数据预测方法,并将其应用到系泊护舷压力的预测当中,提高系泊护舷压力预测的计算效率,进而增强预测方法的实用性和通用性。对于现今海量数据线性回归在单机运算中时间过长的问题,本论文设计并实现了一种MapReduce化的并行多元线性回归算法。在Hadoop平台上,使用了 HBase数据库来实现大规模文件的存储和容错,运用MapReduce的分布式算法模式来处理存储在HBase数据库中的数据,结合多元回归算法对系泊护舷压力数据进行预测,运用梯度下降算法对回归系数进行优化处理,取得最优解。最后,通过搭建好的Hadoop计算平台和HBase数据库,运行算法得出结果。通过实验,将Hadoop平台和HBase数据库运用到系泊护舷压力预测当中,采用多元回归大数据预测方法来实现系泊护舷压力的预测,极大的提高了船舶系泊护舷压力安全预警的效率和准确率。
其他文献
英国脱欧公投已落下帷幕,但其所引发的震荡才刚刚开始。由于民粹主义和与欧盟国家利益分歧等原因致使英国脱欧,对英国、欧盟以及世界各国在政治、经济、金融等各个领域都产生
意大利作曲家佩尔戈莱西(1710-1736年)的二幕歌剧《女仆作夫人》标志着意大利喜歌剧的诞生,具有深远的历史意义。文章通过对歌剧中的选曲《愤怒,我的愤怒》音乐风格的阐述、
<正>"三严三实"要求的提出,充分体现了以习近平同志为总书记的党中央从严治党的鲜明执政风格,表明了新一届中央领导集体驰而不息推进从严治党的坚定决心。作为一名党员,尤其
电影是社会与文化在银幕上的重要表达方式之一,欣赏英语电影能有效地促进目的语文化的学习及跨文化意识的提高。而运用英语电影进行文化教学应遵循审美的原则、尊重目的语文
在全球化风格与教学模式趋同的情况下,民族元素是当前还没被用完的设计元素,艺术设计专业的教学改革应突出民族文化特色,学校教学终极作用是要让学生学到能胜任工作的知识与
随着我国经济持续快速发展,各种城市天然气管道工程越建越庞大,其管道防腐问题一直是工程建设的难点和重点,如果管道防腐工作没有做好,非常容易引起天然气泄露问题,造成大量
<正>2018年12月20日,工行党委委员、纪委书记王林到全行培训者专业能力提升培训班与学员座谈。会上,学员代表围绕《2018—2022年全国教育培训规划》和《中国工商银行2018—20
随着近些年钛及其合金的生产及加工成本降低,在航空航天、海洋工程、医疗、石油化工等领域的应用也越来越广泛。钛材应用范围的扩大,因此也迫切需求钛合金管道的高效连接技术
介绍我国铁路列车调度指挥系统(TDCS)/调度集中系统(CTC)系统信息安全技术装备经过近10余年的发展,经历从小规模到中等规模,从简易防护、被动防护到系统防护、主动防护的过程,详
在日益发展、教学方法不断改进的英语教学中,不可忽视英文原版电影它为学生的英语学习开辟了一个更加广阔的天地。英美电影可以听到丰富多彩、表达地道的美国俚语,在英语听说