全国 [ 切换城市 ]
咨询热线 : 400-969-7660
首页 > 课程资讯 > 人工智能+Python >

人工智能+Python

Python语言有哪些特点?怎么能学好Scrapy框架?

来源: 浏览量: 日期: 2020-05-13
  Python语言有哪些特点?怎么能学好Scrapy框架?Python入门简单、功能强大,是人工智能时代最佳的编程语言。Scrapy是python开发的一个快速、高层次屏幕抓取和Web抓取框架,主要用于抓取Web站点并从页面中提取结构化的数据。有很多人可能不知道怎么学Scrapy,接下来就给大家简单梳理一下相关知识。
 
  Scrapy是一个为爬取网站数据、提取结构性数据而设计的应用程序框架,它可以应用在广泛领域:Scrapy常应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过Scrapy框架实现一个爬虫,抓取指定网站的内容或图片。
 

 
  Scrapy框架的安装
 
  Scrapy框架因为功能十分强大,所以依赖很多库,不能直接安装,需要先安装依赖库。需要安装4个依赖库分别是:
 
  1、lxml,使用pip命令安装。
 
  pip3 install lxml
 
  若没有报错,则安装成功,如果报错提示缺少libxml2 库,可以使用wheel文件进行安装。
 
  2、pyOpenSSL,需要在官网下载wheel文件pyOpenssL。
 
  pip3 install pyOpenSSL-17.2.0-py2.py3-none-any.whl
 
  3、wisted,需要在官网下载wheel文件Twisted。一定要记得在控制台下输入python,
 
  查看你的电脑版本和python版本,然后在上面的地址中下载对应的wheel文件。然后使用命令安装:pip3 install Twisted-17.5.0-cp36-cp36m-win_amd64.whl
 
  4、PyWin32,在官网下载对应版本的安装包双击安装即可。
 
  在依赖包全部安装成功前提下安装Scrapy框架,使用pip命令:pip3 install Scrapy,就证明 Scrapy已经安装好了。
 
  Scrapy框架构成
 
  crapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。
 
  Scheduler(调度器): 负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列、入队,当引擎需要时交还给引擎。
 
  Downloader(下载器):负责下载Scrapy Engine(引擎)发送的所有Requests请求,并将其获取到的Responses交还给Scrapy Engine(引擎),由引擎交给Spider来处理。
 
  Spider(爬虫):负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器)。
 
  Item Pipeline(管道):负责处理Spider中获取到的Item,并进行进行后期处理(详细分析、过滤、存储等)的地方。
 
  Downloader Middlewares(下载中间件):你可以当作是一个可以自定义扩展下载功能的组件。
 
  Spider Middlewares(Spider中间件):是一个可以自定扩展和操作引擎和Spider中间通信的功能组件(比如进入Spider的Responses和从Spider出去的Requests)。
 
  想了解更多Scrapy框架知识,快速掌握Python知识,需要学习很多知识点,为了保证自己具备求职竞争力,还需要具备一定的项目实战经验。想要同时掌握理论并积攒实战经验,可以专业学习一下,在试听之后,做出让自己不后悔的决定!
分享:
下一篇: 最后一页