前言
前方高能预警!抖音小姐姐视频集来了!
总感觉抖音小姐姐连一个手势都能擦出不一样的火花,她们有一千种模样,我就有一万种喜欢,没有看够怎么办?!
如果你感觉学不会?莫慌,小编推荐大家加入群,
前面960中间410后面445,群里有志同道合的小伙伴,
互帮互助,还可以拿到许多视频教程!
双十二福利来了!这次Python爬虫实战篇,爬的就是当下大火的抖音小姐姐视频。问我pick哪位小姐姐,当然是唱歌老跑调,跳舞数拍子的杨超越了。
本文主要讲解:
抖音视频爬虫
视频下载
抖音视频爬虫
抖音使用的智能推荐机制。我们这里依旧是通过fiddler抓包(Fiddler是一款常见的抓包分析工具,对数据进行截获、重发、编辑、转存的过程叫做抓包)。现在的抖音有加密算法,之前网上的大部分代码都不能用了,我们先看看有哪些加密字段。
https:
//aweme.snssdk.com/aweme/v1/aweme/post/?iid=40337863888&device_id=35102252294&os_api=18&app_name=aweme&channel=App%20Store&idfa=11926ED5-C282-4BBC-AF01-0E8C18120647&device_platform=iphone&build_number=23101&vid=177A5A79-D6F6-4A03-9352-57C0681CDDDC&openudid=1ee725d39e05794bcdc14537f8c1f4220c7d6fd5&device_type=iPhone8,1&app_version=2.3.1&version_code=2.3.1&os_version=11.4.1&screen_width=750&aid=1128&ac=WIFI&count=21&max_cursor=0&min_cursor=0&user_id=58554069260&mas=01bf537030d65155897d6fd1d7c97862dbca9722fea8c96d2b68de&as=a1858817de104b87435065&ts=1534297870
这里主要是mas和as参数不知道咋构造,这里因为只是爬一个用户的数据,所以把整个url都copy到txt中,然后请求获取数据。
视频下载
在网上看说,这个链接只有10多分钟的有效期(没有验证),所以爬虫先把视频链接先保存下来,然后再统一下载。
哈哈哈,当爬虫撞见小姐姐,你的样子我都有啦!
爬虫基础知识
那么一般学习爬虫要学习到哪种程度呢?
(必要部分)
语言选择:一般是了解Python、Java、Golang之一
熟悉多线程编程、网络编程、HTTP协议相关
开发过完整爬虫项目(最好有全站爬虫经验,这个下面会说到)
反爬相关,cookie、ip池、验证码等等
熟练使用分布式
(非必要,建议)
了解消息队列,如RabbitMQ、Kafka、Redis等
具有数据挖掘、自然语言处理、信息检索、机器学习经验
熟悉APP数据采集、中间人代理
大数据处理(Hive/MR/Spark/Storm)
数据库Mysql,redis,mongdb
熟悉Git操作、linux环境开发
读懂js代码,这个真的很重要
有疑问加站长微信联系(非本文作者)