移动广告精准平台海量数据处理的设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:a98674591
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着现代电子信息技术的飞速发展,移动终端种类越来越丰富,移动通信方式越来越多,速度越来越快,越来越多的人通过移动终端访问网页或其他联网应用。在这样的大背景下,移动广告业应运而生,由于移动终端用户可以提供丰富的用户数据,在精确而细粒度的数据下,移动广告投放具有很高的精准度,可以最大可能的实现广告的精准投放。在运营商得到广告费收益的前提下,广告主得到有效的广告投放,用户获得有用的信息。   移动广告具有很多优点,但同时,由于其拥有的是细粒度的海量数据,对其进行处理面临着巨大的挑战。海量数据可能在传输中遇到错误,或由于数据版本的不一致导致数据统一处理困难,需要对其进行预处理,成为统一的无误的干净数据,方便后续处理。而在后续处理中,也需要一种有效、高效、完整的处理机制和管理机制。   基于以上背景,针对移动广告精准平台中最为基础也最为重要海量数据处理部分,本文给出了一套较为完整的处理框架。由于开源的分布式平台Hadoop有高可用性和高可拓展性等优点,我们采用它进行数据的分布式存储和处理。为应对应用平台提出海量数据实时查询要求,将数据保存在非关系型数据库:Hbase中,对外提供良好的实时查询效率。根据不同功能性要求,本文将移动广告精准平台自底向上划分为存储层、服务层、应用层、展示层四个层次,分别介绍了四个层次的概要设计。详细介绍了存储层的数据存储模型和Hbase表设计;服务层中基于Hbase自带的API结合精准平台数据处理需求封装的一些数据操作接口,主要包括数据的增删改查、规则计算以及在数据更新时需要进行的一些预处理操作;应用层中针对数据导入、业务特征和标签值生成等插件的设计与实现;展示层中为移动广告平台提供的实时查询接口。并通过功能性及高效性的测试,确定基于Hadoop平台和Hbase设计与实现的精准平台海量处理的可行性和优势。最后,基于移动广告的精准营销以及精准平台的海量数据处理,进行了总结和展望。
其他文献
在信息化快速发展的今天,将信息技术应用到农业作物的病虫害防治上,实现病害分级和虫害计数,最终实现减少病虫害防治成本和提高农作物的产量和质量的目的,这是现代化农业发展的一
现如今,互联网已经成为了我们生活的一部分,作为互联网服务之一的电子邮件,以其方便性、低成本性等特点,已经被广泛应用,成为人们生活中最普遍的网络沟通工具。但是由于其潜
近来,几起重大煤矿安全事故的发生再次引起了人们对于煤矿安全问题的广泛关注,煤矿安全问题始终是安全生产工作的重中之重。随着信息技术的高速发展,以普适计算、物联网为代表的
OCTEON CN5200是Cavium Networks公司近些年推出的某系列多核SPU(业务处理板)的芯片处理器,该处理器具有强大的网络数据处理能力,在其给出的解决方案中,用户是通过客户端的串口
现阶段移动增值业务仍然是移动通信市场的主要业务支柱,近年来,随着通信技术的发展,移动网络承载能力的加强,移动终端功能性能的提高,使各大运营商增值业务竞争的焦点转移到
人脸检测和识别技术是极富挑战性的热门研究方向,是计算机视觉领域的一项关键应用技术,在经济、安全、社会保障、军事等方面具有巨大的潜在价值。目前在人脸方面的研究主要包
随着移动互联网和智能终端技术的发展,智能手机正迅速取代功能性手机,成为我们日常生活中必不可少的工具。在智能手机市场高速增长的同时,操作系统平台的竞争也日趋白热化,iOS和A
以往,人们习惯使用同步的“请求-应答”的通信方式来满足各种软件应用的需求,但在网络规模日益扩大,参与实体逐渐增长的今天,这种传统的方式严重制约了分布式系统的发展。近年来,
随着移动通信技术的不断发展,无线接入网的结构变得越来越复杂,用户对无线接入网服务质量要求也越来越高。这要求无线接入网能够动态地适应网络结构变化与用户多变的需求。3GPP
随着网络规模的扩大与运营商服务与业务的多样化,作为骨干网、城域网重要节点的路由器的规模扩展性、资源重用性、运行可靠性问题逐渐成一项挑战,传统的路由器的主控、业务与转