重复数据清理是当今数据质量研究的一个重要问题,清理重复数据关系着数据库服务的质量.因此,论文查重子系统是科研服务平台中的一个部分,它提供了对整个科研服务平台中的英文论文进行数据查重,检查新加入的论文是否为重复(原数据库中已有),在并库(加入整个数据库的内容)操作前查出并库将产生的重复论文的服务.该文围绕着论文查重子系统的分析与实现,介绍了当今用于重复数据清理的各种算法,包括用来产生潜在的重复数据对减少比较次数的算法和计算相似度的算法.在分析了以上算法的基础上,根据论文数据字符串长,需要模糊匹配等特点,论文查重子系统的实现如下:(1)Bigram聚类算法产生潜在的重复论文对,(2)比较这些论文对的标题相似度和作者相似度,(3)用通过机器训练标记好的训练集得到的标题相似度与作者相似度组成的线性不等式来判断是否重复.通过实验分析比较了以字母为粒度计算相似度的3种算法和以单词为粒度计算相似度的2种算法的性能,找出了最适合论文查重的以单词为粒度并将单词出现频率作为编辑操作的权重来计算编辑距离的算法,实现了论文查重子系统较高的查全率查准率和时间效率.