scrapy如何使用代理IP?或许有部分小伙伴会不太清楚scrapy里面要怎么才能够用到代理IP，其实配置的操作是比较简单的，下面我们一起来看看。

使用scrapy-proxy随机IP代理插件，以下是黑洞代理介绍的具体操作：

安装：

pip install scrapy_proxies

设置settings.py

# Retry many times since proxies often fail

RETRY_TIMES = 10

# Retry on most error codes since proxies fail for different reasons

RETRY_HTTP_CODES = [500, 503, 504, 400, 403, 404, 408]

DOWNLOADER_MIDDLEWARES = {

'scrapy.downloadermiddlewares.retry.RetryMiddleware': 90,

'scrapy_proxies.RandomProxy': 100,

'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,

}

# ip文件示例如下

# http://host1:port

# http://username:password@host2:port

# http://host3:port

# 这是存放代理IP列表的位置

PROXY_LIST = '/path/to/proxy/list.txt'

#代理模式

# 0 = 每个请求都有不同的代理

# 1 = 仅从列表中获取一个代理，并将其分配给每个请求

# 2 = 在设置中使用自定义代理

PROXY_MODE = 0

#如果使用模式2，将下面解除注释：

#CUSTOM_PROXY = http://host1:port

使用方法：

将之前用Python爬到的代理IP列表存储到PROXY_LIST可以找到的位置;

几种PROXY_MODE里，可能0是最常用的;如果有哪个IP是特别稳定的话，应该使用2。

这样我们就在scrapy设置好代理IP的使用啦，大家可以跟着教程来操作看看。