Golang goroutine 与 map 并发的采坑事件

Gopherzhang · · 1694 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

goroutine 与 map 并发的采坑事件

1. goroutine 与map 的并发读写操作

在Go 1.6之前, 内置的map类型是部分goroutine安全的,并发的读没有问题,并发的写可能有问题。自go 1.6之后, 并发地读写map会报错,这在一些知名的开源库中都存在这个问题,所以go 1.9之前的解决方案是额外绑定一个锁,封装成一个新的struct或者单独使用锁都可以。

因为map为引用类型,所以即使函数传值调用,参数副本依然指向映射m, 所以多个goroutine并发写同一个映射m, 写过多线程程序的同学都知道,对于共享变量,资源,并发读写会产生竞争的, 故共享资源遭到破坏


1. 有并发问题的map

官方的Why are map operations not defined to be atomic? ]已经提到内建的map不是线程(goroutine)安全的。

... and in those cases where it did, the map was probably part of some larger data structure or computation that was already synchronized.

我们来看一下代码吧:

一个goroutine一直读,一个goroutine一只写同一个键值,即即使读写的键不相同,而且map也没有"扩容"等操作,代码还是会报错。


func main() {

    m := make(map[int]int)
    go func() {
        for {
            _ = m[1]
        }
    }()
    go func() {
        for {
            m[2] = 2
        }
    }()
    select {}
}


然后你会发现 运行不起:

fatal error: concurrent map read and map write

有时候数据竞争不是很容易发现,你可以输入:

go run --race main.go

进行查看。


2. Go 1.9之前的解决方案

你可以用互斥锁 sync.Mutex 也可以用读写锁 sync.RWMutex(性能好些)。


var counter = struct{
    sync.RWMutex
    m map[string]int
}{m: make(map[string]int)}


读数据的时候很方便的加锁:


counter.RLock()
n := counter.m["some_key"]
counter.RUnlock()
fmt.Println("some_key:", n)


写数据的时候:


counter.Lock()
counter.m["some_key"]++
counter.Unlock()

当然你也可以单独使用 读写锁进行读写加锁操作,只是如果有多个的情况下就没有嵌入结构体那么方便操作了。


3. 终极解决方案 sync.Map

可以说,上面的解决方案相当简洁,并且利用读写锁而不是Mutex可以进一步减少读写的时候因为锁带来的性能。

  • Store
  • LoadOrStore
  • Load
  • Delete
  • Range

Store(key, value interface{})

存 key,value 存储一个设置的键值。

LoadOrStore(key, value interface{}) (actual interface{}, loaded bool)

返回键的现有值(如果存在),否则存储并返回给定的值,如果是读取则返回true,如果是存储返回false。

Load(key interface{}) (value interface{}, ok bool)

读取存储在map中的值,如果没有值,则返回nil。OK的结果表示是否在map中找到值。

Delete(key interface{})

删除key,及其value

Range(f func(key, value interface{}) bool)

循环读取map中的值.遍历所有的key,value


package main
 
import (
    "fmt"
    "sync"
)
 
func main() {
    var m sync.Map
 
    //Store
    m.Store(1,"a")
    m.Store(2,"b")
 
    //LoadOrStore
    //若key不存在,则存入key和value,返回false和输入的value
    v,ok := m.LoadOrStore("1","aaa")
    fmt.Println(ok,v) //false aaa
 
    //若key已存在,则返回true和key对应的value,不会修改原来的value
    v,ok = m.LoadOrStore(1,"aaa")
    fmt.Println(ok,v) //false aaa
 
    //Load
    v,ok = m.Load(1)
    if ok{
        fmt.Println("it's an existing key,value is ",v)
    } else {
        fmt.Println("it's an unknown key")
    }
 
    //Range
    //遍历sync.Map, 要求输入一个func作为参数
    f := func(k, v interface{}) bool {
        //这个函数的入参、出参的类型都已经固定,不能修改
        //可以在函数体内编写自己的代码,调用map中的k,v
 
            fmt.Println(k,v)
            return true
        }
    m.Range(f)
 
    //Delete
    m.Delete(1)
    fmt.Println(m.Load(1))
 
}

关于 其源码分析 可参考此文章


有疑问加站长微信联系(非本文作者)

本文来自:简书

感谢作者:Gopherzhang

查看原文:Golang goroutine 与 map 并发的采坑事件

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

1694 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传