Python爬虫的用途

lnh2017 · · 317 次点击 · 开始浏览    置顶
这是一个创建于 的主题,其中的信息可能已经有所发展或是发生改变。
Python爬虫是用Python编程语言实现的网络爬虫,主要用于网络数据的抓取和处理,相比于其他语言,Python是一门非常适合开发网络爬虫的编程语言,大量内置包,可以轻松实现网络爬虫功能。 Python爬虫可以做的事情很多,如搜索引擎、采集数据、广告过滤等,Python爬虫还可以用于数据分析,在数据的抓取方面可以作用巨大! **Python爬虫架构组成** 1. URL管理器:管理待爬取的url集合和已爬取的url集合,传送待爬取的url给网页下载器; 2. 网页下载器:爬取url对应的网页,存储成字符串,传送给网页解析器; 3. 网页解析器:解析出有价值的数据,存储下来,同时补充url到URL管理器。 **Python爬虫工作原理** Python爬虫通过URL管理器,判断是否有待爬URL,如果有待爬URL,通过调度器进行传递给下载器,下载URL内容,并通过调度器传送给解析器,解析URL内容,并将价值数据和新URL列表通过调度器传递给应用程序,并输出价值信息的过程。 **Python爬虫常用框架有:** grab:网络爬虫框架(基于pycurl/multicur); scrapy:网络爬虫框架(基于twisted),不支持Python3; pyspider:一个强大的爬虫系统; cola:一个分布式爬虫框架; portia:基于Scrapy的可视化爬虫; restkit:Python的HTTP资源工具包。它可以让你轻松地访问HTTP资源,并围绕它建立的对象; demiurge:基于PyQuery的爬虫微框架。 Python爬虫应用领域广泛,在网络爬虫领域处于霸主位置,Scrapy、Request、BeautifuSoap、urlib等框架的应用,可以实现爬行自如的功能,只要您数据抓取想法,Python爬虫均可实现!

入群交流(该群和以上内容无关):Go中文网 QQ交流群:731990104 或 加微信入微信群:274768166 备注:入群; 公众号:Go语言中文网

317 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传