qq:800819103
在线客服,实时响应
qq群
在线客服,实时响应
客服电话
13318873961动态IP如何帮助爬虫爬取360图解电影的图片,在360图片中有一个图解电影的标签,电影爱好者可以从中保存自己喜爱的电影图片。今天黑洞代理就为大家分享一下,爬虫是如何爬取360电影图片的。这里以Scrapy来爬取,并将图集按电影名称分类保存至本地。
代码如下:
import json
from scrapy import Spider, Request
from tujiemovie360.items import IndexItem, DetailItem
class TujiemovieSpider(Spider):
name = 'tujiemovie'
allowed_domains = ['image.so.com/z?ch=video']
start_urls = ['http://image.so.com/z?ch=video/']
# 索引页
index_url = 'http://image.so.com/zj?ch=video&sn={sn}&listtype=new&temp=1'
# 详情页
detail_url = 'http://image.so.com/zvj?ch=video&id={id}&pn=60&sn={sn}'
# 重写
def start_requests(self):
# 索引页请求
for sn in range(0, 1): # 修改上限值,可以把整个图解电影全爬下来
yield Request(url=self.index_url.format(sn=sn * 30), callback=self.parse_index, dont_filter=True)
def parse_index(self, response):
'''
解析索引页
'''
results = json.loads(response.text)
if 'list' in results.keys():
for movie in results.get('list'):
item = IndexItem()
item['id'] = movie.get('id')
item['group_title'] = movie.get('group_title')
item['total_count'] = movie.get('total_count')
item['actor'] = movie.get('actor')
item['director'] = movie.get('director')
yield item
# 请求每部电影图集详情页
id = movie.get('id')
total_count = movie.get('total_count')
for sn in range(0, total_count // 60 + 1):
yield Request(url=self.detail_url.format(id=id, sn=sn * 60), callback=self.parse_detail,
dont_filter=True)
def parse_detail(self, response):
'''
解析电影图集详情页(每张图片)
'''
results = json.loads(response.text)
if 'list' in results.keys():
for pic in results.get('list'):
item = DetailItem()
item['id'] = pic.get('group_id') # 电影图集id
item['imageid'] = pic.get('imageid')
item['pic_url'] = pic.get('pic_url')
item['pic_title'] = pic.get('pic_title')
item['qhimg_url'] = pic.get('qhimg_url')
yield item
通过上述代码,我们就可以获取到360图解电影的相关图片了。黑洞代理为您提供安全稳定、高效便捷的爬虫代理IP服务,更多问题请点击官网咨询客服。
相关文章内容简介
1 动态IP如何帮助爬虫爬取360图解电影的图片
动态IP如何帮助爬虫爬取360图解电影的图片,在360图片中有一个图解电影的标签,电影爱好者可以从中保存自己喜爱的电影图片。今天黑洞代理就为大家分享一下,爬虫是如何爬取360电影图片的。这里以Scrapy来爬取,并将图集按电影名称分类保存至本地。 代码如下: import∵json from∵scrapy∵import∵Spider,∵Request from∵tujiemovie360.items∵import∵Ind... [阅读全文]
最新标签
推荐阅读
15
2019-05
ip代理软件为何如此深入人心
现在网络营销很盛行,很多产品都是通过网上进行销售和推广,这样就可以找到更多的机会。在人们讨厌硬广告的时候,软广告悄然的兴起,也就是网络营销的出现。要做好网络营销必须有好的
09
2018-10
国内换ip软件哪个好用?
换IP软件使用的范围非常的广泛,可网络差劲的情况下可以自动进行切换,选择适合,稳定的IP给用户使用,网络不稳定用户可以使用这样的软件,而且通过换IP换件,可以推广很多的东西。
04
2019-06
哪个代理IP速度快?
当我们使用代理IP的时候,无非是这几种情况,一是网络业务的需要,如数据采集,效果补量需要大量的代理IP;二是一些网站有访问权限,如国外的网站,这个时候就需要国外的代理IP了;三是自
20
2019-06
代理IP主要指是什么?
对于网站的外包服务公司来说,当客户把网站交给公司运营打理的时候。一般的做法通过非常规的技术手段,让网站的整体各项数据刷上去。当然,这种举措整体上风险可控的,对于搜索引擎的
热门文章