论文部分内容阅读
为了提高从web中挖掘数据记录的精确性和完整性，提出了同构页与目录页的概念及3个算法．如果一组网页结构相同，只是主信息不同，该网页称为同构页．一个包含有多个指向同构页连接的网页称为目录页．算法1用于发现目录页，它首先将连接排序，并对同一目录的链接记数．如果记数大于桌一给定阀值，则对其链接子页进行相似比较并得到结果．同时给出了一个网页相似度判断的函数、算法2采用了噪声信息过滤方法从同构页中挖掘主信息并得到数据记录，该算法是基于在2个同构页中噪声信息相同而只有主信息不同，算法3通过采用Spider技术可以实现