Pyhton爬虫代理池的建立与使用，黑洞代理在这篇文章就要带领大家进入到安装与使用操作了，各位爬虫新手请搬好小板凳，前方知识高能，做好接收准备吧!

下面进入到安装部分：

下载代码：

1git clone git@github.com:jhao104/proxy_pool.git

或者直接到https://github.com/jhao104/proxy_pool 下载zip文件

安装依赖：

pip install-r requirements.txtpip install-r requirements.txt

启动：

需要分别启动定时任务和api

到Config.ini中配置你的SSDB

到Schedule目录下:

1>>>python ProxyRefreshSchedule.py

到Api目录下:

1>>>python ProxyApi.py

需要分别启动定时任务和api

到Config.ini中配置你的SSDB

到Schedule目录下:

1>>>python ProxyRefreshSchedul e.py

到Api目录下:

1>>>python ProxyApi.py

如何使用?

定时任务启动后，会通过代理获取方法fetch所有代理放入数据库并验证。此后默认每20分钟会重复执行一次。定时任务启动大概一两分钟后，便可在SSDB中看到刷新出来的可用的代理：

启动ProxyApi.py后即可在浏览器中使用接口获取代理，一下是浏览器中的截图:

get页面：

get_all页面：

爬虫中使用，如果要在爬虫代码中使用的话， 可以将此api封装成函数直接使用，例如:

importrequestsdefget_proxy():returnrequests.get("http://127.0.0.1:5000/get/").contentdefdelete_proxy(proxy):requests.get("http://127.0.0.1:5000/delete/?proxy={}".format(proxy))# your spider codedefspider():# ....requests.get('https://www.pythontab.com', proxies={"http": "http://{}".format(get_proxy)})# ....

学习好之后，我们会发现代理IP池的设置其实也没有那么困难，可以很快就上手。