golang获取twitter上的视频和图片

qianguozheng · · 799 次点击 · 开始浏览    置顶
这是一个创建于 的主题,其中的信息可能已经有所发展或是发生改变。
## Github地址 Github: https://github.com/gohiweeds/twitterdownloader.git ## 功能 * 支持Socks5代理配置 国内的:支持设置SOCK5 代理,下载Twitter视频图片 如果已经配置了就不需要了使用SOCK5下载了,如下,直接下载即可,无须配置HTTP代理。 MacOS: ``` export http_proxy=xxx export https_proxy=xxx ``` ## 原因 前一段时间浏览Twitter看到了一个搞笑的视频,想保存下来,但是发现都是hls的视频片段,下载挺麻烦的,于是用golang实现了一个自动下载Tweet的视频功能。 ## 实现原理 Twitter的视频是通过javascript的执行来完成的,都是xhr的请求。 这种方式下载比较麻烦,之前我的打算是golang中搭建一个javascript的解释器然后计算执行,但是执行过程中遇到了一些问题,javascript + DOM的绑定等,比较复杂,对于一个嵌入式工程师来说,对javascript也不是很熟悉,作罢。 后来在github上找到了一个直接请求相对uri直接获取配置的,现在已经过期了还是python实现,依赖过多,没有用处,但是提供了思路。 我就按照获取的视频json的配置信息url,来获取,又遇到了难题,就是访问此路径需要认证,没办法,抓取数据包分析,然后模拟了guest的认证,最终可获取了视频配置,然后根据视频url下载m3u8,然后下载视频文件,重组成mp4格式的文件即可。 ## 总结 本来在实现过程中发现Twitter的视频请求方式的时候,我是打算算了,反正无关痛痒的项目,但是内心的小执着觉得不能这么算了,虽然后来又遇到了认证问题,但还是有惊无险的完成了。

入群交流(和以上内容无关):Go中文网 QQ 交流群:798786647 或加微信入微信群:274768166 备注:入群;关注公众号:Go语言中文网

799 次点击  
加入收藏 微博
1 回复  |  直到 2018-09-06 19:34:27
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传