论文部分内容阅读
针对当前微博采集无精确去噪方法和微博无法无登陆采集现象，笔者提出了基于 Regex 网页去噪 Hash 对比的网络爬虫采集方案并利用插件采集实现了无登陆采集。该方法通过 Regex 构建 DFA 和 NFA 模型来去除网页噪声，通过 Hash 对比对确定采集页面，并通过插件权限提升实现无登陆技术。有效的避免了 Hash 值的变化与网页内容变化产生偏离的现象，解决了网络爬虫虚拟登录时多次对 URL 采集造成的身份认证问题。实验表明，该方法可以实时快速的获取微博信息，为舆情数据分析提供批量精准的数据。