Spider(网络爬虫)是一种网络资源获取程序,它加速网络流通的同时也增加了网络负载,有必要监控spider对网站的访问。目前,spider检测技术主要基于决策树,贝叶斯网络等方法,针对这些检测技术的评价主要依靠人工分析web日志数据,计算其召回率和准确率。为避免人工分析带来的主观性,寻求一种新的有效的评价方法具有重要的意义。本文介绍了spider的特点以及常见spider检测技术,详细分析了现有检测技术评价方法的优缺点。针对传统评价方法中存在的一些问题,提出一种基于陷阱技术的spider检测评价方法,该方法利用陷阱在网站的布置情况和用户的访问过程信息,结合概率论中的二项分布理论,给出了相关参数和指标的计算方法。基于陷阱的评价模型不依赖于人工分析,具有很强的准确性,充分利用了陷阱特性,巧妙的结合用户访问过程信息和二项分布理论,对现有的spider检测技术进行了多角度的评价。同时也分析了不同时间阈值和不同陷阱布置率对评价结果的影响。实验表明该评价方法与人工评价具有一致性,较基于人工分析的评价方法具有很大的优势,具有准确性和客观性,也是一种很简便的自动评价方法。陷阱评价虽然在一定程度上受时间阈值地干扰,但是如果这种变化控制在10%以内,陷阱评价结果将变得可靠与可信。