关于go协程池的疑问

fichtner · 2022-08-03 15:58:30 · 1925 次点击

协程池一方面是为了控制资源占用,另一方面在特定情况下提高效率,这种提高主要体现在复用。比如避免新开的协程经常发生栈扩展等。因为创建协程相比创建线程代价低太多,所以相比线程池,在这一方面不见得有提升。在硬件条件充足时,新建协程速度更快很正常。使用协程池,工作协程数量少,反而处理慢。

但看文章内容,可变因素多不好判定。建议协程池通过压测测试最合适的工作协程数量,以及最高内存占用。再做统一资源限制后(比如限制内存使用),测试不使用协程的情况。

#2
更多评论

Go的协程那么简单好用,还用的着什么Ants协程池么?直接创建协程,然后通过channel传递数据,在协程中处理即可,这种方式是语言级别推荐,效率应该也是最高的。

#1

嗯嗯,好的,非常感谢大家。最后一个问题,在go1.13版本wg.Add()的位置对时间和内存影响巨大的原因(不使用协程池),大家有了解吗?我下载了go1.14也跑了下。下面是结果:

func TestNoPoolAddN(t *testing.T) {
    fmt.Println("任务总数",n)
    var wg sync.WaitGroup
    wg.Add(n)
    for i := 0; i < n; i++ {

        go func() {
            time.Sleep(10 * time.Microsecond)
            wg.Done()
        }()
    }

    wg.Wait()
    mem := runtime.MemStats{}
    runtime.ReadMemStats(&mem)
    curMem = mem.TotalAlloc/MiB - curMem
    t.Logf("memory usage:%d MB", curMem)
}

func TestNoPoolAdd1(t *testing.T) {
    fmt.Println("任务总数",n)
    var wg sync.WaitGroup
    for i := 0; i < n; i++ {
        wg.Add(1)
        go func() {
            time.Sleep(10 * time.Microsecond)
            wg.Done()
        }()
    }
    wg.Wait()
    mem := runtime.MemStats{}
    runtime.ReadMemStats(&mem)
    curMem = mem.TotalAlloc/MiB - curMem
    t.Logf("memory usage:%d MB", curMem)
}

go1.18 版本结果:

DJ-CE02F28JGEMQQL7H:ants user$  go version
go version go1.18.3 darwin/amd64
DJ-CE02F28JGEMQQL7H:ants user$  go test -run="TestNoPool" -v
=== RUN   TestNoPoolAddN
任务总数 10000000
    ants_test.go:213: memory usage:919 MB
--- PASS: TestNoPoolAddN (3.14s)
=== RUN   TestNoPoolAdd1
任务总数 10000000
    ants_test.go:230: memory usage:917 MB
--- PASS: TestNoPoolAdd1 (3.29s)
PASS
ok      github.com/panjf2000/ants/v2    6.900s

go1.14 版本结果:

DJ-CE02F28JGEMQQL7H:ants user$ go version
go version go1.14.15 darwin/amd64
DJ-CE02F28JGEMQQL7H:ants user$  go test -run="TestNoPool" -v
=== RUN   TestNoPoolAddN
任务总数 10000000
    ants_test.go:213: memory usage:849 MB
--- PASS: TestNoPoolAddN (3.13s)
=== RUN   TestNoPoolAdd1
任务总数 10000000
    ants_test.go:230: memory usage:763 MB
--- PASS: TestNoPoolAdd1 (2.66s)
PASS
ok      github.com/panjf2000/ants/v2    6.152s

go1.13 版本结果:

DJ-CE02F28JGEMQQL7H:ants user$  go version
go version go1.13.15 darwin/amd64
DJ-CE02F28JGEMQQL7H:ants user$  go test -run="TestNoPool" -v
=== RUN   TestNoPoolAddN
任务总数 10000000
--- PASS: TestNoPoolAddN (127.86s)
    ants_test.go:213: memory usage:5084 MB
=== RUN   TestNoPoolAdd1
任务总数 10000000
--- PASS: TestNoPoolAdd1 (3.16s)
    ants_test.go:230: memory usage:611 MB
PASS
ok      github.com/panjf2000/ants/v2    132.974s

可能是go1.14版本更新有性能上的改进或者是bug修复,自己有查go1.14的版本更新,但是不清楚是原因在哪?看着不像是goroutine的异步抢占式调度造成的。

#3