golang获取twitter上的视频和图片

Github地址

Github: https://github.com/gohiweeds/twitterdownloader.git

功能

• 支持Socks5代理配置

国内的：支持设置SOCK5 代理，下载Twitter视频图片

如果已经配置了就不需要了使用SOCK5下载了,如下，直接下载即可，无须配置HTTP代理。 MacOS:

export http_proxy=xxx
export https_proxy=xxx

原因

前一段时间浏览Twitter看到了一个搞笑的视频，想保存下来，但是发现都是hls的视频片段，下载挺麻烦的，于是用golang实现了一个自动下载Tweet的视频功能。

实现原理

Twitter的视频是通过javascript的执行来完成的，都是xhr的请求。 这种方式下载比较麻烦，之前我的打算是golang中搭建一个javascript的解释器然后计算执行，但是执行过程中遇到了一些问题，javascript + DOM的绑定等，比较复杂，对于一个嵌入式工程师来说，对javascript也不是很熟悉，作罢。

后来在github上找到了一个直接请求相对uri直接获取配置的，现在已经过期了还是python实现，依赖过多，没有用处，但是提供了思路。

我就按照获取的视频json的配置信息url,来获取，又遇到了难题，就是访问此路径需要认证，没办法，抓取数据包分析，然后模拟了guest的认证，最终可获取了视频配置，然后根据视频url下载m3u8,然后下载视频文件，重组成mp4格式的文件即可。

总结

本来在实现过程中发现Twitter的视频请求方式的时候，我是打算算了，反正无关痛痒的项目，但是内心的小执着觉得不能这么算了，虽然后来又遇到了认证问题，但还是有惊无险的完成了。