前言:
有段时间没写博客了，顺手分享下前些时间写的一个通用连接池。应该有朋友要说 又是个轮子了。这还真不是要造轮子，像我们平时用的golang的mysql和redis库，基本都有连接池的实现。 但 go-nsq是没有连接池实现的。
先前我认为nsq作为golang曾经很火的一个mq，应该很是完善，但经过这段时间的深耕，发现小问题不断。 go-nsq这个库作者基本不管不问了，看样子是放弃了。 既然是这种状态为毛还用nsq，我能说是历史原因么？ 我后期会专门写一个文章来介绍我们使用nsq遇到的问题。
说下怎么发现的这个问题。每当服务有大量的埋点数据需要推送到nsq时，会发现nsq推送不及时，publish的速度不给力。 服务进程的cpu不大，内存不大，网络是内网，也很小。io更很小。并发的协程也是足够的多，按道理应该很快就推送。 导出go的协程调用栈，发现不少协程都在等待nsq的chan发送。 分析go-nsq源码得知，publish的逻辑都是串行的，每个conn会new一个协程专门串行发送数据。 当我们调用publish和publishAsync其实都是往chan绑定的chan发送导入数据，然后又一个协程去串行发送。
也正是因为go-nsq做了这样的协程安全，让我怀疑整个进程就只有一个连接。用 lsof 发现服务跟nsq连接就只有一个…. go nsq的NewProducer的config里也没有任何连接池的相关配置参数。
|
1 |
feature_g 20593 work 33u IPv4 26183593 0t0 TCP xxxx:38966-> xxxxx:4150 (ESTABLISHED) |
怎么解决？
最简单的方法让每个常驻的协程绑定一个独占的连接，这样配置很简单，但是如果你的协程加大到500，那么连接也跟着涨到500， 不合理。 这里吐槽下 nsq的性能实在不咋地 ! 在大量的客户端建立连接时，出现连接失败的问题，需要不断的重试。
第二种:
连接池的代码扔到github了，有兴趣的朋友可以瞅瞅，使用方法简单，抽象了interface{}, 只要实现相应的方法就完事了。
最近项目催促的太紧，导致没时间好好打磨下go连接池的代码，自觉地写得不优美，尤其是锁的处理，但是可以用的，我已经把nsq和kafka都嵌入了这套连接池里了。
多说一句，请注意消息队列的连接池，尽量只放入生产端连接，因为消费端一般是用来回调，他自身也是有状态，不好控制释放连接的时机。
话说，很多的消息队列的go client都没有连接池的实现，不说nsq和kafka，还有rabbtimq。
https://github.com/silenceper/pool
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 |
// xiaorui.cc var nsqPool pool.Pool func initPool() { //factory 创建连接的方法 factory := func() (interface{}, error) { conn := tool.NewNsqEntry() conn.InitProducer() return conn, nil } //close 关闭连接的方法 close := func(v interface{}) error { return v.(*tool.NsqEntry).Close() } //创建一个连接池： 初始化5，最大连接30 poolConfig := &pool.PoolConfig{ InitialCap: 5, MaxCap: 30, Factory: factory, Close: close, //连接最大空闲时间，超过该时间的连接 将会关闭，可避免空闲时连接EOF，自动失效的问题 IdleTimeout: 15 * time.Second, } p, err := pool.NewChannelPool(poolConfig) if err != nil { fmt.Println("err=", err) } //从连接池中取得一个连接 v, err := p.Get() //do something //conn=v.(net.Conn) //将连接放回连接池中 p.Put(v) //释放连接池中的所有连接 //p.Release() //查看当前连接中的数量 current := p.Len() fmt.Println("len=", current) } |
总结:
nsq和kafka使用这套连接池已经跑了一个多月了，我一直关注连接的个数及异常，到现在为止还没出问题。连接池的实现多种多样，貌似多是使用链表加锁实现的，我这个是使用channel来实现的，目的都一样，为了线程安全。
有疑问加站长微信联系（非本文作者）
