论文部分内容阅读
随着现代电子信息技术的飞速发展,移动终端种类越来越丰富,移动通信方式越来越多,速度越来越快,越来越多的人通过移动终端访问网页或其他联网应用。在这样的大背景下,移动广告业应运而生,由于移动终端用户可以提供丰富的用户数据,在精确而细粒度的数据下,移动广告投放具有很高的精准度,可以最大可能的实现广告的精准投放。在运营商得到广告费收益的前提下,广告主得到有效的广告投放,用户获得有用的信息。
移动广告具有很多优点,但同时,由于其拥有的是细粒度的海量数据,对其进行处理面临着巨大的挑战。海量数据可能在传输中遇到错误,或由于数据版本的不一致导致数据统一处理困难,需要对其进行预处理,成为统一的无误的干净数据,方便后续处理。而在后续处理中,也需要一种有效、高效、完整的处理机制和管理机制。
基于以上背景,针对移动广告精准平台中最为基础也最为重要海量数据处理部分,本文给出了一套较为完整的处理框架。由于开源的分布式平台Hadoop有高可用性和高可拓展性等优点,我们采用它进行数据的分布式存储和处理。为应对应用平台提出海量数据实时查询要求,将数据保存在非关系型数据库:Hbase中,对外提供良好的实时查询效率。根据不同功能性要求,本文将移动广告精准平台自底向上划分为存储层、服务层、应用层、展示层四个层次,分别介绍了四个层次的概要设计。详细介绍了存储层的数据存储模型和Hbase表设计;服务层中基于Hbase自带的API结合精准平台数据处理需求封装的一些数据操作接口,主要包括数据的增删改查、规则计算以及在数据更新时需要进行的一些预处理操作;应用层中针对数据导入、业务特征和标签值生成等插件的设计与实现;展示层中为移动广告平台提供的实时查询接口。并通过功能性及高效性的测试,确定基于Hadoop平台和Hbase设计与实现的精准平台海量处理的可行性和优势。最后,基于移动广告的精准营销以及精准平台的海量数据处理,进行了总结和展望。