golang并发读取文件并开启工作池处理数据

不浪人 · · 132 次点击 · · 开始浏览    
func main() {
    strCh := make(chan string)
    wg := sync.WaitGroup{}
    for i := 0; i < 20; i++ {
        wg.Add(1)
        go func() {
            defer wg.Done()
            for str := range strCh {
                log.Info.Println(str)
            }
        }()
    }

    ReadFiles2Chan(filePaths, strCh)
    close(strCh)

    wg.Wait()
    log.Info.Println("正常退出")
}

// 并发读取文件将文件行放入管道
func ReadFiles2Chan(filePaths []string, strCh chan string) {
    var wg sync.WaitGroup
    for _, filePath := range filePaths {
        wg.Add(1)
        go func(path string) {
            defer wg.Done()
            f, err := os.Open(path)
            if err != nil {
                log.Error.Fatal(err)
            }
            scanner := bufio.NewScanner(mahonia.NewDecoder("gbk").NewReader(f))
            scanner.Split(bufio.ScanLines)
            i := -1
            for scanner.Scan() {
                if i++; i < 2 {
                    continue
                }
                strCh <- scanner.Text()
            }
        }(filePath)
    }
    wg.Wait()
}

本文来自:简书

感谢作者:不浪人

查看原文:golang并发读取文件并开启工作池处理数据

入群交流(该群和以上内容无关):Go中文网 QQ交流群:731990104 或 加微信入微信群:274768166 备注:入群; 公众号:Go语言中文网

132 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传