本文针对大规模混合流量数据连通分量计算时面临的效率瓶颈问题开展研究,重点解决三方面的问题,一是以google的pregel算法为代表分布式图计算算法无法处理IPV4、IPV6混合流量数据;二是在某些领域数据采集时只能采集到部分流量数据,从而造成畸形连接拓扑,在两个体量相差很大的图之间仅通过有限数量的边连接,在万级和千万级两个集合间进行连通分量计算时需要几天以上的处理时间,无法满足时效性要求;三是存在大量的增量连通性计算需求,即需要把每天抓取的流量数据与历史数据融合更新连接关系,在这方面当前缺乏有效的算法支撑。为此开展基于大规模混合流量数据的连通分量计算技术的研究,重点解决以上三方面的问题,并围绕此技术展开了如下主要工作:第一、提出并实现了面向残缺混合流量的连通分量计算优化算法,解决IPV4、IPV6混合流量处理问题以及畸形流量的计算效率问题,通过给IP重编码的思路,使得算法能够兼容IPV4、IPV6混合流量,同时针对“在两个体量相差很大的图之间仅通过有限数量的边连接”的畸形拓扑,提出了度越大的节点赋予越小的ID的思想,减少了消息传递次数,使得连通分量计算效率显著提升。第二、提出并实现了面向离线计算的增量连通分量计算优化算法,充分利用IP地址和连通分量的映射关系,将已经进行过连通分量计算的IP地址用其所属的连通分量ID替代,解决了现有连通分量计算技术面对新增流量数据时选择对全量数据进行重新计算,运算效率低下的问题。在此基础上设计实现了基于大规模混合流量数据的连通分量计算系统,并设计实验对本文研究成果进行验证,实验表明,面向残缺混合流量的连通分量计算优化算法在处理残缺混合流量方面,算法效率提升达到了 23倍多;当新加入的流量数据和原始流量数据的数据量较为接近时,在面向离线计算的增量连通分量计算方面算法效率提升70%左右。