您的位置: 首页 > 新闻资讯 > 正文

用代理ip爬取资料还被封?

发布时间:2020-01-25 14:21:00 来源:

使用爬虫软件爬取网站资料,速度快,可以不知疲倦地连续工作。但是由于爬虫软件在访问网站时,行为过于频繁,远超人力操作速度,就很容易被网站察觉,而封掉用户的IP。

用代理ip爬取资料还被封?

所以,使用爬虫软件时,为了防止IP被封,或者IP已经被封,还想用自己的IP访问封了自己IP的网站时,就要用到代理IP了。

作为新手,很多人认为一旦用了代理IP后,就可以毫无顾忌地使用爬虫软件访问网站爬取资料,再也不怕被网站封IP了。

但是,事与愿违的是,往往很多时候,即使使用了代理IP,还是被封IP了。这到底是怎么回事呢?

1、使用的代理IP是透明代理。

代理IP是透明代理就意味着被访问网站知道你用的是代理IP,而且也知道你的真实IP。所以,如果你爬取网站资料时,正好用的是透明代理,那么这就明显属于不打自招,不封你IP真是说不过去了。

2、使用的代理IP是匿名代理。

匿名代理的意思是网站知道你用的代理IP,但是不知道你的真实IP。依据其特点,使用匿名代理还是有一定的风险的。因为网站知道你用的是代理IP,如果你在人家的网站上行为异常,虽然不会封掉你的IP,但你的代理IP还是难以逃掉被封的命运。

3、虽然使用的是高匿代理,但是爬虫软件设置不合理。

高匿代理避免了上述两种代理的缺点,被访问网站既不知道你用的是代理IP,也不知道你的真实IP。但是即便这样在网站上爬取资料进也不能毫无顾忌,如果爬取时间设置不合理或单用一个IP,也有很大可能被网站识别出来,从而被封IP。


相关文章内容简介

1 用代理ip爬取资料还被封?

  使用爬虫软件爬取网站资料,速度快,可以不知疲倦地连续工作。但是由于爬虫软件在访问网站时,行为过于频繁,远超人力操作速度,就很容易被网站察觉,而封掉用户的IP。  所以,使用爬虫软件时,为了防止IP被封,或者IP已经被封,还想用自己的IP访问封了自己IP的网站时,就要用到代理IP了。  作为新手,很多人认为一旦用了代理IP后,就可以... [阅读全文]

最新标签