您的位置：首页 > 新闻资讯 > 正文

何为线程池？使用线程池有什么好处？

发布时间：2019-03-09 14:15:37 来源：互联网

由于单线程抓取是有限的，无法短时间内完成大量的抓取工作，因此大家会使用多线程来解决这个问题，提高爬虫的抓取速度，但这里有个问题，线程太多会影响设备的正常运转，可能会导致内存过高出现延迟，或者卡死的现象。这该怎么办呢？

如何解决多线程的问题？若是不能解决，那我们也不能无限的使用多线程，还会影响效率，那么为什么大家的抓取没有问题呢？这就涉及到线程池的问题。

何为线程池？

线程池是一种多线程处理形式，处理过程中将任务添加到队列，然后在创建线程后自动启动这些任务。线程池线程都是后台线程。每个线程都使用默认的堆栈大小，以默认的优先级运行，并处于多线程单元中。如果某个线程在托管代码中空闲（如正在等待某个事件）,则线程池将插入另一个辅助线程来使所有处理器保持繁忙。如果所有线程池线程都始终保持繁忙，但队列中包含挂起的工作，则线程池将在一段时间后创建另一个辅助线程但线程的数目永远不会超过最大值。超过最大值的线程可以排队，但他们要等到其他线程完成后才启动。

使用线程池有什么好处？

1.响应更快

线程池可以通过对多个任务重用线程，在请求到达时线程已经存在（如果有空闲线程时），所以无意中也消除了线程创建所带来的延迟。这样，就可以立即为请求服务，使应用程序响应更快。

2.降低消耗

合理配置线程池中的线程大小，防止请求线程猛增；另外通过重复利用已创建的线程降低线程创建和销毁造成的消耗，防止资源不足。

3.可管理

使用线程池可以提高线程的可管理性，因为使用线程池可以统一分配、调优和监控线程。

可见我们在使用爬虫去抓取信息时，使用线程池好处是不少的。另外我们在使用线程池的时候要注意搭配代理IP使用，使用不同的IP，更能突破IP的限制，提升爬取的效率，相互相成。