0x00 前言 在 浅谈动态爬虫与去重 中，分享了动态爬虫中触发事件、监控节点变动、URL去重等的实现方法。在接近一年的线上运行与迭代更新过程中，处理了很多bug，也遇到一些有趣的漏抓案例。 本文将详…
浅谈动态爬虫与去重 ：一
0x01 简介 随着Web 2.0的发展，页面中的AJAX也越来越多。由于传统爬虫依靠静态分析，不能准确的抓取到页面中的AJAX请求以及动态更新的内容，已经越来越不能满足需求。基于动态解析的Web 2.0爬虫应运而生，通…
B^B .. Oh
一群爱搞事情的小弱鸡 
0x00 前言 在 浅谈动态爬虫与去重 中，分享了动态爬虫中触发事件、监控节点变动、URL去重等的实现方法。在接近一年的线上运行与迭代更新过程中，处理了很多bug，也遇到一些有趣的漏抓案例。 本文将详…
0x01 简介 随着Web 2.0的发展，页面中的AJAX也越来越多。由于传统爬虫依靠静态分析，不能准确的抓取到页面中的AJAX请求以及动态更新的内容，已经越来越不能满足需求。基于动态解析的Web 2.0爬虫应运而生，通…