Python3使用正则表达式爬取内涵段子，对Python感兴趣的小伙伴们就随着小编一起来看一下吧，本文涉及Python正则匹配与文件读写相关操作技巧，需要的朋友可以参考下希望对小伙伴有所帮助。
先将内涵段子网页爬取下来，之后利用正则进行匹配，匹配完成后将匹配的段子写入文本文档内。代码如下：
# -*- coding:utf-8 -*-
from urllib import request as urllib2
import re
# 利用正则表达式爬取内涵段子
url = r'http://www.neihanpa.com/article/list_5_{}.html'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0',
}
file_name = '内涵段子.txt'
for page in range(2):
# 2表示页数，可以自行调整
fullurl = url.format(str(page+1))
request = urllib2.Request(url=fullurl, headers=headers)
response = urllib2.urlopen(request)
html = response.read().decode('gbk')
# re.S 如果没有re.S 则是只匹配一行有没有符合规则的字符串，如果没有则下一行重新匹配
# 如果加上re.S 则是将所有的字符串作为一个整体进行匹配
pattern = re.compile(r'<divsclass="f18 mb20">(.*?)</div>',re.S)
duanzis = pattern.findall(html)
for duanzi in duanzis:
duanzi = duanzi.replace('<p>','').replace('</p>','').replace('<br />','
').replace('"','').replace('&rdquo','').replace('…','')
try:
# 将爬取的段子写入文件
file = open(file_name,'a',encoding='utf-8')
file.write('
'.join(duanzi.split()))
file.close()
except OSError as e:
print(e)
以上就是小编给大家分享的Python3使用正则表达式爬取内涵段子，希望对小伙伴们有所帮助。Python爬虫人工智能学习群 454380743
有疑问加站长微信联系（非本文作者）
