论文部分内容阅读
针对视频数据非结构化和体量大的特点,提出了一种基于Hadoop并发处理框架下的分片解码处理方法。该框架采用FFmpeg作为视频解码器,OpenCV作为图片处理引擎,对FFmpeg源码进行了修改和扩展,可在Hadoop环境下支持分片解码,从而实现海量视频的快速处理。同时,利用MapReduce细节处理功能寻求最佳分片大小,使得处理性能达到最优。人脸检测试验数据表明,8台4核机器上采用分片解码技术组成的Hadoop集群,比相同机器组的传统分布式集群处理速度提升了约45%。