代理服务器会经常在网络爬虫领域出现，这是因为如果缺少了代理服务器，爬虫就会受到来自目标网站、来自网络服务器的一些阻拦。

爬虫在工作的时候，爬虫速度快等原因，会有IP访问频繁的问题，这时网站会对用户使用的IP进行验证或者直接被封，这样就给爬虫带来了影响，所以爬虫代理是很重要的。

由于爬虫时我们需要使用大量代理，如果一个代理响应速度特别快，很快就能得到响应，而下一次请求使用的代理响应速度特别慢，等了三十秒才得到响应，那势必会影响爬取效率，所以我们需要看下商家提供的这些代理稳定性怎样，总不能这一个特别快，下一个又慢的不行。所以这里我们需要统计一下耗费时间的方差，方差越大，证明稳定性越差。

选择对了代理服务器，那么不仅爬虫程序可以顺利进行，而且对工作效率的提升也是有质量的飞跃，对爬虫工作者而言，正可谓是一举两得。