爬虫之Scrapy

Scrapy初步

Scrapy基于Twisted设计实现，Twisted的特殊特性是以事件驱动，并且对于异步的支持性很好，集成了高性能的异步下载，队列，分布式，持久化等。

Scrapy的安装

在Linux中可以直接在命令行中输入：pip install scrapy

在windows中：

- pip3 install wheel

- 下载twisted，http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

- 下载的Twisted一定要和自己当前python解释器的版本相匹配，不然不会报这个错误：

Twisted-18.9.0-cp37-cp37m-win_amd64.whl is not a supported wheel on this platform.

- 进入下载目录，执行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl

- pip3 install pywin32

- pip3 install scrapy

Scrapy的目录结构

使用 scrapy startproject projectname  启动项目。

- scrapy.cfg　　scrapy项目的基础配置

- items.py　　设置数据存储模板，用于结构化数据，如Django的Model

- middlewares.py　　自己定义的中间件

- piplines　　数据的持久化处理

- settings.py　　配置文件，如：递归的层数、并发数、延迟下载等

- spiders　　爬虫目录，创建文件，编写解析规则等

创建爬虫应用程序：

- 进入项目目录

- scrapy genspider 应用名称  爬取网页的起始url　　（例如: scrapy genspider test_1 www.baidu.com）

- 会出现一个appname.py的文件，文件内容如下

import scrapyclass Test1Spider(scrapy.Spider):name = 'test_1'　　#应用名allowed_domains = ['www.baidu.com']　　#允许爬取的域名，如果非该域名的则跳过start_urls = ['http://www.baidu.com/']　　#起始爬取的url#访问起始url并获取结果后的回调函数，该函数的response参数就是向起始的url发送请求后，获取的相应对象，
　　该函数的返回值必须为可迭代对象获知NULL

def parse(self, response):pass　　#response.text　　获取字符串类型的相应内容
　　　　　　　　　#reponse.body　　获取字节类型的相应内容

程序执行：

- scrapy crawl  爬虫名称

- scrapy crawl --nolog　　#不显示执行的日志信息

案例一

修改settings.py文件

USER_AGENT="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360EE"
ROBOTSTXT_OBEY=False    #忽略君子协议

打开sprider文件

import scrapyclass QiuSprider(scrapy.Sprider):name="qiusp"allowed_domains=['https://www.qiushibaike.com/']start_urls=['https://www.qiushibaike.com/']def parse(self,response):#xpath为response函数的方法odiv=response.xpath('//div[@id="content-left"]/div')content_list=[]    #存储解析数据for div in odiv:#xpath函数返回列表，列表中的数据为selector类型，需要调用extract()函数取出数据
　　　　　　　author = div.xpath('.//div[@class="author clearfix"]/a/h2/text()')[0].extract()
　　　　　　　content=div.xpath('.//div[@class="content"]/span/text()')[0].extract() 
　　　　　　　#将解析内容封装到字典中
　　　　　　　dic={ '作者':author, '内容':content }
　　　　　　　#将数据存到content_list中
　　　　　　　content_list.append(dic)
　　　　　return content_list

案例二

spider

import scrapyfrom bossPro.items import BossproItem
class BossSpider(scrapy.Spider):name = 'boss'# allowed_domains = ['www.xxx.com']start_urls = ['https://www.zhipin.com/job_detail/?query=python%E7%88%AC%E8%99%AB&scity=101010100&industry=&position=']url = 'https://www.zhipin.com/c101010100/?query=python爬虫&page=%d&ka=page-2'page = 1#解析+管道持久化存储def parse(self, response):li_list = response.xpath('//div[@class="job-list"]/ul/li')for li in li_list:job_name = li.xpath('.//div[@class="info-primary"]/h3/a/div/text()').extract_first()salary = li.xpath('.//div[@class="info-primary"]/h3/a/span/text()').extract_first()company = li.xpath('.//div[@class="company-text"]/h3/a/text()').extract_first()#实例化一个item对象item = BossproItem()#将解析到的数据全部封装到item对象中item['job_name'] = job_nameitem['salary'] = salaryitem['company'] = company#将item提交给管道yield itemif self.page <= 3:print('if 执行!!!')self.page += 1new_url = format(self.url%self.page)print(new_url)#手动请求发送yield scrapy.Request(url=new_url,callback=self.parse)

items.py

items.py存放的是我们要爬取数据的字段信息，我们要爬取的是工作名，薪资，公司名。

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.htmlimport scrapyclass BossproItem(scrapy.Item):# define the fields for your item here like:job_name = scrapy.Field()salary = scrapy.Field()company = scrapy.Field()

pipelines.py

pipelines.py主要是对spiders中爬虫返回的数据进行处理的，在这里我们让其写入redis和写入文件，

pipeline可以随意定义，但是它是有顺序的，所以我们要在settings.py设置权重，数字越小，优先级越高。

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.htmlfrom redis import Redis
class BossproPipeline(object):fp = Nonedef open_spider(self, spider):print('开始爬虫......')self.fp = open('./boss.txt','w',encoding='utf-8')def close_spider(self, spider):print('结束爬虫......')self.fp.close()#爬虫文件每向管道提交一次item,则该方法就会被调用一次.#参数:item 就是管道接收到的item类型对象def process_item(self, item, spider):#print(item)self.fp.write(item['job_name']+':'+item['salary']+':'+item['company']+'\n')return item #返回给下一个即将被执行的管道类class redisPileLine(object):conn = Nonedef open_spider(self,spider):self.conn = Redis(host='127.0.0.1',port=6379)print(self.conn)def process_item(self, item, spider):# print(item)dic = {'name':item['job_name'],'salary':item['salary'],'company':item['company']}self.conn.lpush('boss',dic)

settings.py

USER_AGENT="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360EE"
ROBOTSTXT_OBEY=False    #忽略君子协议

ITEM_PIPELINES = {'bossPro.pipelines.BossproPipeline': 300,'bossPro.pipelines.redisPileLine': 301,
}