求助,关于waitgroup产生死锁问题

zhuting233 · 2023-03-22 23:49:35 · 1646 次点击 · 大约8小时之前 开始浏览    置顶
这是一个创建于 2023-03-22 23:49:35 的主题,其中的信息可能已经有所发展或是发生改变。

package main

import (
    "bufio"
    "fmt"
    "math/rand"
    "os"
    "strconv"
    "sync"
)

var path string = "./num.txt"

func Write() {
    file, err := os.OpenFile(path, os.O_RDWR|os.O_CREATE|os.O_TRUNC, 0755)
    defer file.Close()
    if err != nil {
        fmt.Println(err)
    }
    writer := bufio.NewWriter(file)

    for i := 0; i < 1000; i++ {
        x := rand.Intn(2000)
        writer.WriteString(strconv.Itoa(x) + "\n")
    }
    writer.Flush()
}

var wg sync.WaitGroup

func Read() chan int {
    file, err := os.Open(path)
    if err != nil {
        fmt.Println(err)
    }
    defer file.Close()
    scanner := bufio.NewScanner(file)

    ch := make(chan int, 1000)

    for i := 0; i < 3; i++ {
        wg.Add(1)
        go func() {
            defer wg.Done()
            for scanner.Scan() {
                t, _ := strconv.Atoi(scanner.Text())
                // fmt.Println(t)
                ch<-t

            }
        }()
    }

    wg.Wait()
    close(ch)
    return ch
}

func main() {
    Write()
    ch := Read()
    fmt.Println(len(ch))

}

有时候会产生死锁,大部分情况下通道中数据长度也不对。 本人小白,思考很久,不知道为啥会出现问题,求助~ 谢谢各位


有疑问加站长微信联系(非本文作者)

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

1646 次点击  ∙  1 赞  
加入收藏 微博
7 回复  |  直到 2023-03-23 14:50:18
xwszt
xwszt · #1 · 2年之前

这个不是waitgroup死锁的问题,是你读文件的方式有问题

感觉你的这个写法很奇怪,没看懂你的目的是什么。

buguang01
buguang01 · #2 · 2年之前

我理解,你是写了一个1000行的文件,然后想并发读这个文件写到ch中;但是你发现写入ch的数据长度不对,还有时候会卡在写入ch的地方,对吧?

原因是这样的,scanner这个并不是协程安全的,你想一下,三个协程同时 scanner.Scan()然后scanner.Text()的时候,他们是分别获得三行,还是获得同一行呢?因为scanner.Scan()的时候没有锁,导致scanner里面的过程变量的值变得不可预测,这会导致读出来的数据不是正确的。所以你的这个程序会出现你现在发现的问题。

buguang01
buguang01 · #3 · 2年之前

你在编译的时候加上-race 就很明显看出来了。

go build -race main.go

然后运行main.exe

你就能看到警告了。

buguang01
buguang01 · #4 · 2年之前

你是不是想着,我有一个文件,想多开几个协程一起读,是不是可以更快的读入文件?

这个问题其实可以多几个方面考虑;


  1. 同一个文件,可以使用只读的方式,打开多个句柄,然后每个句柄从不同的位置开始读;
  2. 如果读出后的处理操作很费时间的话,可以同一个文件使用一个句柄,读的时候需要加上并发锁,并发处理;
zhuting233
zhuting233 · #5 · 2年之前

懂了懂了 谢谢各位大佬~

zhuting233
zhuting233 · #6 · 2年之前
buguang01buguang01 #2 回复

我理解,你是写了一个1000行的文件,然后想并发读这个文件写到ch中;但是你发现写入ch的数据长度不对,还有时候会卡在写入ch的地方,对吧? 原因是这样的,scanner这个并不是协程安全的,你想一下,三个协程同时 scanner.Scan()然后scanner.Text()的时候,他们是分别获得三行,还是获得同一行呢?因为scanner.Scan()的时候没有锁,导致scanner里面的过程变量的值变得不可预测,这会导致读出来的数据不是正确的。所以你的这个程序会出现你现在发现的问题。

感谢感谢Thanks♪(・ω・)ノ

Neightly
Neightly · #7 · 2年之前

同一个文件,可以使用只读的方式,打开多个句柄,然后每个句柄从不同的位置开始读;

就是现成的io.SectionReader,怎么拆才不会把长度不定的数字拆到两个Section里是需要小技巧的。

添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传