当数据爬虫遇上反爬虫，这场攻守战，如果爬虫工程师想要突围。那么，只是靠硬攻是无法成功的，我们需要动用策略以及工具的辅助，比如代理IP。下面黑洞代理为大家介绍两个关于反爬虫机制的处理方式。

1、使用代理

适用情况：限制IP地址情况，也可解决由于“频繁点击”而需要输入验证码登陆的情况。

这种情况最好的办法就是维护一个代理IP池，网上有很多免费的代理IP，良莠不齐，可以通过筛选找到能用的。对于“频繁点击”的情况，我们还可以通过限制爬虫访问网站的频率来避免被网站禁掉。

2、伪装成浏览器，或者反“反盗链”

有些网站会检查你是不是真的浏览器访问，还是机器自动访问的。这种情况，加上User-Agent，表明你是浏览器访问即可。有时还会检查是否带Referer信息还会检查你的Referer是否合法，一般再加上Referer。

越是大型的网站，在检测爬虫这一块就越作得滴水不漏，所以，大家在做爬虫的时候，要针对不同的网站来分析，才好开展工作。