Golang通过Goroutine+Channel指定同时下载的数量

What you are wasting today is tomorrow for those who died yesterday; what you hate now is the future you can not go back.

你所浪费的今天是昨天死去的人奢望的明天； 你所厌恶的现在是未来的你回不去的曾经。

 今天发现某盘里有好多收藏的歌曲，于是想下载下来，就想用Golang下一个(别问为啥)

下载部分整理为库， 代码如下：

package download

import (
	"strconv"
	"sync"
	"time"
)

type Urls struct {
	Urls []string
	Wg   sync.WaitGroup
	Chs  chan int  // 默认下载量
	Ans  chan bool // 每个进程的下载状态
}

// 初始化下载地址  根据项目确认使用配置文件的方式还是其他方式，此处使用爬虫处理没公开
func (u *Urls) InitUrl(end chan bool) {
	for i := 0; i < 20; i++ {
		u.Urls = append(u.Urls, "https://studygolang.com/articles/2228")
	}
	end <- true
}

// 实际的下载操作
func downloadHandle(url string, b *bar.Bar) string {
    //需要根据下载内容作存储等处理
	time.Sleep(3*time.Second）
	return ""
}

/**
每个线程的操作
url 下载地址
chs 默认下载量
ans 每个线程的下载状态
*/
func (u *Urls) Work(url string) {
	defer func() {
		<-u.Chs  // 某个任务下载完成，让出
		u.Wg.Done()
	}()
    downloadHandle(url)
	u.Ans <- true // 告知下载完成
}

调用方式：

package main

import (
	dl "downloadAndstup/download"
)
func main(){
	end := make(chan bool)
	u := dl.Urls{
		Chs:make(chan int , 5), // 默认同时下载5个
		Ans: make(chan bool),
	}
	// 初始化url
	go u.InitUrl(end)
	if  ok := <- end; ok{
       // 分发的下载线程
		go func(){
			for _, v := range u.Urls{
				u.Chs <- 1 // 限制线程数 （每次下载缓存加1， 直到加满阻塞）
				u.Wg.Add(1)
				go u.Work(v)
			}
            u.Wg.Wait() // 等待所有分发出去的线程结束
			close(u.Ans)// 否则range 会报错哦
		}()
      
        // 静静的等待每个下载完成
		for  _ = range u.Ans{
		}
	}

}

以上的线程会在某一个下载任务完成后，马上启动一新goroutine继续共5个下载的任务，

如果新需求是同时下载，并且按循序下载5个后，再启动新5个下载任务？后续更新

有疑问加站长微信联系（非本文作者）