适合新手看的资源下载小程序

大部分新手（比如我）看完golang圣经之后不知道该做些什么好，那不如就来做一个资源下载小程序吧。这里用一个视频网站作为示范，来编写一个小小的资源下载小程序 因为是个小程序，所以所有函数和方法都放在一个 main 包里。 首先导入我有用到的标准库。 ``` package main import ( "bufio" "fmt" "io" "io/ioutil" "net/http" "os" "path" "regexp" "strings" "sync" "time" ) ``` 一些全局变量 ``` var index_url string = "https://www.example.com"//这里就用example来替换掉它的域名，免得被人找麻烦 /* ptnIndexItem是一个个播放视频网页的链接 ptnVideoItem是为了匹配视频播放网页里的视频链接 dir 是你要下载的路径 */ var ptnIndexItem = regexp.MustCompile(`<a[^<>]+href *\= *[\"']?(\/[\d]+)\"[^<>]*title\=\"([^\"]*)\".*name.*>`) var dir string = "./example_video" var ptnVideoItem = regexp.MustCompile(`<a[^<>]+href *\= *[\"']?(https\:\/\/[^\"]+)\"[^<>]*download[^<>]*>`) //增加一个等待组 var wg sync.WaitGroup ``` 写一个结构体，为了存放每一个视频的下载进度，为什么用int64 是因为后面用到的文件大小和ContentLength都是int64 ``` /* 用于记录下载进度的结构体 */ type DownList struct { Data map[string][]int64 Lock sync.Mutex } ``` 懒得对每一个error进行判断，写一个检查用的函数 ``` /* 检查点 */ func check(e error) { if e != nil { panic(e) } } ``` 获取网页的方法 ``` /* url: 需要获取的网页 return: content 抓取到的网页源码 statusCode 返回的状态码 */ func Get(url string) (content string, statusCode int) { resp, err1 := http.Get(url) if err1 != nil { statusCode = -100 return } defer resp.Body.Close() data, err2 := ioutil.ReadAll(resp.Body) if err2 != nil { statusCode = -200 return } statusCode = resp.StatusCode content = string(data) return } ``` 用文件来记录这个视频的链接，每次下载之前先和这个文件里面的链接比较，有就不下载了，免得重复下载。 得先创建一个你钟意的文件 ``` /* param: filename: 文件名 text 需要比较的字符串 return: ture 没 false 有 */ func readOnLine(filename string, text string) bool { fi, err := os.OpenFile(filename, os.O_RDWR|os.O_APPEND, os.ModeAppend) check(err) defer fi.Close() text = text + "\n" br := bufio.NewReader(fi) for { a, c := br.ReadString('\n') if c == io.EOF { fmt.Println(text, "不存在，现在写入") fi.WriteString(text) return true } if string(a) == text { fmt.Println("存在", text) break } } return false } ``` lock 为了防止后面goroutines 并发读写map时候报错 \033[2J 是用来清空屏幕的，做到类似top的效果，虽然远不如top，但是能看到下载进度还是很爽的 ``` /* 输出下载进度的方法 */ func (downList *DownList) process() { for { downList.Lock.Lock() for key, arr := range downList.Data { fmt.Printf("%s progress: [%-50s] %d%% Done\n", key, strings.Repeat("#", int(arr[0]*50/arr[1])), arr[0]*100/arr[1]) } //fmt.Println(downList) downList.Lock.Unlock() time.Sleep(time.Second * 3) fmt.Printf("\033[2J") } } ``` 下载视频的函数， ``` /* url: 视频链接 filename: 本地文件名 downList: 用来记录下载进度的一个结构体的指针 */ func Down(url string, filename string, downList *DownList) bool { b := make([]byte, 1024) f, err := os.Create(filename) if err != nil { fmt.Println("创建文件失败") return false } defer f.Close() repo, err := http.Get(url) if err != nil { fmt.Println("获取资源失败") return false } defer repo.Body.Close() bufRead := bufio.NewReader(repo.Body) for { n, err := bufRead.Read(b) if err == io.EOF { break } f.Write(b[:n]) fileInfo, err := os.Stat(filename) fileSize := fileInfo.Size() //fmt.Println(fileSize, "--", repo.ContentLength) downList.Lock.Lock() downList.Data[filename] = []int64{fileSize, repo.ContentLength} downList.Lock.Unlock() } wg.Done() return true } ``` 下面就是main 函数了 ``` func main() { //初始化downList 与 map var downListF DownList downListF.Data = make(map[string][]int64) downList := &downListF //首先获取index网页的内容 context, statusCode := Get(index_url) if statusCode != 200 { fmt.Println("error") return } /* 提取并复制到二维数组 html_result [][]string html_result[n] []string 匹配到的链接 html_result[n][0] string 全匹配数据 html_result[n][1] url string html_result[n][2] title string */ html_result := ptnIndexItem.FindAllStringSubmatch(context, -1) length := len(html_result) go downList.process() for i := 0; i < length; i++ { v := html_result[i] video_html, video_status := Get(index_url + v[1]) if video_status != 200 { fmt.Println("error") continue } video_result := ptnVideoItem.FindAllStringSubmatch(video_html, -1) ok := readOnLine("test", v[1]) if len(video_result) > 0 && len(video_result[0]) > 0 && ok { //fmt.Println(video_result[0][1]) wg.Add(1) dirFile := path.Join(dir, html_result[i][2]) go Down(video_result[0][1], dirFile, downList) } //fmt.Println(i, video_html) } wg.Wait() return } ``` 这样，不到200行的资源下载小程序就完成啦