前言

Python爬虫要经历爬虫、爬虫被限制、爬虫反限制的过程。当然后续还要网页爬虫限制优化，爬虫再反限制的一系列道高一尺魔高一丈的过程。爬虫的初级阶段，添加headers和ip代理可以解决很多问题。

思路：

1. 爬取一些IP,过滤掉不可用.

2. 在requests的请求的proxies参数加入对应的IP.

3. 继续爬取.

4. 收工

5. 好吧,都是废话,理论大家都懂,下面直接上代码...

运行环境

Python 3.7, Pycharm

这些需要大家直接去搭建好环境...

准备工作

1. 爬取IP地址的网站(国内高匿代理)

2. 校验IP地址的网站

3. 你之前被封IP的py爬虫脚本...

上面的网址看个人的情况来选取

爬取IP的完整代码

PS:简单的使用bs4获取IP和端口号,没有啥难度,里面增加了一个过滤不可用IP的逻辑

关键地方都有注释了

使用方法完整代码

PS: 主要是通过使用随机的IP来爬取,根据request_status来判断这个IP是否可以用.

为什么要这样判断?

主要是虽然上面经过了过滤,但是不代表在你爬取的时候是可以用的,所以还是得多做一个判断.

为什么选择国内高匿代理!

总结

使用这样简单的代理IP,基本上就可以应付在爬爬爬着被封IP的情况了.而且没有使用自己的IP,间接的保护?!?!好了，以上就是这篇文章的全部内容了，大家有其他的更加快捷的方法，欢迎大家可以拿出来交流和讨论，谢谢。

我是一名python开发工程师，整理了一套python的学习资料，如果你想提升自己，对编程感兴趣，关注我并在后台私信小编：“08”即可免费领取资料！希望对你能有所帮助！