Python3使用正则表达式爬取内涵段子

tinghai1 · 2018-12-04 17:29:52 · 2213 次点击 · 大约8小时之前 开始浏览    置顶
这是一个创建于 2018-12-04 17:29:52 的主题,其中的信息可能已经有所发展或是发生改变。

Python3使用正则表达式爬取内涵段子,对Python感兴趣的小伙伴们就随着小编一起来看一下吧,本文涉及Python正则匹配与文件读写相关操作技巧,需要的朋友可以参考下希望对小伙伴有所帮助。

先将内涵段子网页爬取下来,之后利用正则进行匹配,匹配完成后将匹配的段子写入文本文档内。代码如下:

-- coding:utf-8 --

from urllib import request as urllib2 import re

利用正则表达式爬取内涵段子

url = r'http://www.neihanpa.com/article/list_5_{}.html' headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0', } file_name = '内涵段子.txt' for page in range(2):

2表示页数,可以自行调整

fullurl = url.format(str(page+1)) request = urllib2.Request(url=fullurl, headers=headers) response = urllib2.urlopen(request) html = response.read().decode('gbk')

re.S 如果没有re.S 则是只匹配一行有没有符合规则的字符串,如果没有则下一行重新匹配

如果加上re.S 则是将所有的字符串作为一个整体进行匹配

pattern = re.compile(r'(.*?)',re.S) duanzis = pattern.findall(html) for duanzi in duanzis: duanzi = duanzi.replace('

','').replace('

','').replace('
',' ').replace('"','').replace('&rdquo','').replace('…','') try:

将爬取的段子写入文件

file = open(file_name,'a',encoding='utf-8') file.write(' '.join(duanzi.split())) file.close() except OSError as e: print(e) 以上就是小编给大家分享的Python3使用正则表达式爬取内涵段子,希望对小伙伴们有所帮助。Python爬虫人工智能学习群 454380743


有疑问加站长微信联系(非本文作者)

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

2213 次点击  
加入收藏 微博
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传