write smart proxy step by step 3 (集群实现)

董泽润 · · 991 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。


赵雷

有点长,直接看结语好了

集群功能

第二篇笔记只实现 Redis 协议单机转发,这次要实现完整集群功能,涉及以下几点:

1. 代码逻辑模块划分: Server,集群拓扑,后端连接池,Session管理

2. Pipeline 实现,对每一个请求封装 Sequence,严格保证应答顺序(实现有些投机,后文再说)

3. 对后端返回的 ErrorResp 做解析,特殊处理 MOVED 和 ASK 请求并异步更新集群拓扑

4. 性能,永远的话题,通过 Pprof 一步一步去调

模块划分

Server 层:该层用来解析生成全局配置,初始化其它模块,开启监听端口,接收外部访问请求。其中 Filter 用来对接收的 Redis 协议数据进行过滤,检测是否危险禁止或不支持的命令,并粗略检测命令参数个数,以接口形式实现。

type Proxy struct {

l net.Listener // 监听 Listener

filter Filter // Redis 有效协议检测过滤器

pc *ProxyConfig // 全局配置文件

sm *SessMana // Session 管理

cluster *Cluster // 集群实现

}

type Filter interface {

Inspect(Resp) (string, error)

}

集群拓扑:随机挑选 Redis 节点,根据 Cluster Nodes 输出信息生成逻辑拓扑结构。默认每10min 定期 Reload 拓扑信息,每当 reloadChan 接收到数据时,强制 Reload。

e32929a56d00a28934669d8e473f68c5de84abce 10.10.200.11:6479 myself,master - 0 0 0 connected 0-5461

type Topology struct {

conf *ProxyConfig // 全局配置

rw sync.RWMutex // 读写锁

slots []*Slot // Cluster Slot 逻辑拓扑结构

reloadChan chan int // Reload 消息 channel

}

拓扑最重要功能,根据给定 Key 返回对应后端 Redis 节点信息。Key 解析出 hash tag 按照 crc16 算法生成并对16384取余,Session 拿到 Node ID 后从连接池获取连接。


GetNodeID

Session 管理:每个客户端连接封装成一个 Session,Server 层维护着 Session 管理工作,关闭超时的连接,默认 30s

type SessMana struct {

l sync.Mutex // Session 锁

pool map[string]*Session // Session Map

idle time.Duration // 超时时长

}

SessMana 实现简单,三个方法:添加,删除以及定期检查 Idle 连接

func (sm *SessMana) Put(remote string, s *Session) {

}

func (sm *SessMana) Del(remote string, s *Session) {

}

func (sm *SessMana) CheckIdleLoop() {

}

连接池:最开始想自已写,发现有很多细节想不到,就直接使用 Golang Redis Driver 的连接池

type pool interface {

First() Conn

Get() (Conn, error)

Put(Conn) error

Remove(Conn) error

Len() int

FreeLen() int

Close() error

}

上面是连接池 interface ,看似简单,具体代码请看 pool.go,有几点细节需要仔细思考:

1. 为了实现通用的连接池,调用方需要传入自定义 Dialer 以及定义 Conn 接口方便扩展。

2. 流控的问题,比如说在正常超时时间内,打开连接数不能超过一定次数。这里采用 ratelimit 实现。想起以前在赶集,蔡导提过抢狗食的问题。

3. 连接池维护的连接有效性,用 LastUsed 超时,还是使用 Ping 来处理是个问题。内网总是假设稳定,所以 LastUsed 问题不大。

4. 如果使用 LastUsed 超时检测,那么连接池内部检测间隔,一定要短于后端 Redis Idle Timeout 超时时间。

Pipeline

对于不支持 Pipeline 的流程: client -> proxy -> redis - > proxy -> client . 所以有两层可以支持 Pipeline,第一层从 client -> proxy,这层很简单,开启 Channel 接收请求,Proxy 去阻塞式处理请求,然后返回到 client 。

第二层 proxy -> redis - > proxy 不好实现,对于 Redis Cluster 集群,命令分发到后端不同实例。由于网络问题,Redis 服务问题,MOVED跳转造成的先发后至,结果集乱序肯定发生,并且是常态。所以简单直观的解决办法,对每一个请求封装,增加64位的 Seq, 这个序号是 Session 级别的。

type wrappedResp struct {

seq  int64 // Session 级别的自增64位ID

resp Resp  // Redis 协议结果

}

第二层开启 goroutine,每当 Proxy 收到响应,都会检查 Seq 是否与发送端的序号一致。会出现三种情况:

1. Seq 与发送端序号相等:这是最理想的情况,在 Session 层直接 WriteProtocol 写到 Client

2. Seq 大于发送端序号: 说明发生了乱序,将该 Seq 结果暂缓存起来,但是不能无限缓存,如果序号相隔过多,或是等待时间过长,那么生成一个 ErrorResp 返回客户端。当前只判断序号,没有采用超时来解决。

3. Seq 小于发送端序号: 接收的 Seq 小,说明已经被跳过了。直接忽略,并记日志 debug。

MOVED与ASK

后端 Client -> Proxy,检测是否为 ErrorResp,不是走正常逻辑即可。否则进一步判断,错误代码前辍是否为 MOVED或ASK,再执行 Redirect 逻辑执行请求。如果为 MOVED,那么要异步刷新拓扑结构。

性能优化

开启 Pprof 查看性能,参考 官方文档yjf博客

import _ "net/http/pprof"

go func() {

log.Warning(http.ListenAndServe(":6061", nil))

}()

go tool pprof -pdf ./archer http://localhost:6061/debug/pprof/profile -output=/tmp/report.pdf

或是进入内部执行命令查看

go tool pprof ./archer http://localhost:6061/debug/pprof/profile

Int 转 []byte


pprof util.Itob

在Pprof 图中看到 util.Itob 调用效率比较低,这个函数将 Int 转换成 []byte,用于 Resp.Encoding 时生成长度,第一版实现如下:

func Itob(i int) []byte {

return []byte(strconv.Itoa(i))

}

第二版 Iu32tob

func Iu32tob(i int) []byte {

return strconv.AppendUint(nil, uint64(i), 10)

}

第三版本 Iu32tob2

func Iu32tob2(i int) []byte {

buf := make([]byte, 10) // 大量小对象的创建是个问题,同样需要对象池

idx := len(buf) - 1

for i >= 10 {

buf[idx] = byte('0' + i%10)

i = i / 10

idx--

}

buf[idx] = byte('0' + i)

return buf[idx:]

}

做 Benchmark 结果如下,将 Itob 替换成第三版本的 Iu32tob2

localhost:util dzr$ go test -v -bench=".*"

testing: warning: no tests to run

PASS

Benchmark_Itob-4        10000000              116 ns/op

Benchmark_Iu32tob-4    20000000                98.4 ns/op

Benchmark_Iu32tob2-4    20000000                80.2 ns/op

ok      github.com/dongzerun/archer/util        5.101s

再次开启 Pprof 查看 ReadProtocol 和 WriteProtocol 的 syscall 量最大,并且 Resp.Encode() 会有大量的 bytes.Buffer 对象产生,应该将做成对象池。那么 Resp 的Encode 方法要改:

Resp.Encode() []byte

变成

Resp.Encode(w *bufio.Writer) error


Pprof


压测数据

单机本机原生单台 Redis 

PING_INLINE: 139664.81 requests per second

PING_BULK: 144092.22 requests per second

SET: 146412.89 requests per second

GET: 145921.48 requests per second

INCR: 142166.62 requests per second

LPUSH: 144634.08 requests per second

LPOP: 141302.81 requests per second

SADD: 139567.34 requests per second

SPOP: 142714.42 requests per second

LPUSH (needed to benchmark LRANGE): 144655.00 requests per second

LRANGE_100 (first 100 elements): 65355.21 requests per second

LRANGE_300 (first 300 elements): 26616.98 requests per second

LRANGE_500 (first 450 elements): 18669.26 requests per second

LRANGE_600 (first 600 elements): 14510.21 requests per second

MSET (10 keys): 121995.86 requests per second

单机 Proxy 后端 Redis Cluster 3个 Master节点,未使用对象池

PING_INLINE: 100361.30 requests per second

PING_BULK: 96918.01 requests per second

SET: 92131.93 requests per second

GET: 90612.54 requests per second

INCR: 91852.66 requests per second

LPUSH: 84645.34 requests per second

LPOP: 87092.84 requests per second

SADD: 88300.22 requests per second

SPOP: 90851.27 requests per second

LPUSH (needed to benchmark LRANGE): 88448.61 requests per second

LRANGE_100 (first 100 elements): 25277.42 requests per second

LRANGE_300 (first 300 elements): 10484.71 requests per second

LRANGE_500 (first 450 elements): 7604.97 requests per second

LRANGE_600 (first 600 elements): 5883.36 requests per second

MSET (10 keys): 17710.71 requests per second

单机 Proxy 后端 Redis Cluster 3个 Master节点,sync.Pool开启bytes.Buffer对象池

PING_INLINE: 109829.77 requests per second

PING_BULK: 102743.25 requests per second

SET: 91290.85 requests per second

GET: 92790.20 requests per second

INCR: 93466.68 requests per second

LPUSH: 90604.34 requests per second

LPOP: 90277.16 requests per second

SADD: 85682.46 requests per second

SPOP: 91432.75 requests per second

LPUSH (needed to benchmark LRANGE): 89726.33 requests per second

LRANGE_100 (first 100 elements): 25667.35 requests per second

LRANGE_300 (first 300 elements): 10589.07 requests per second

LRANGE_500 (first 450 elements): 7683.91 requests per second

LRANGE_600 (first 600 elements): 5826.89 requests per second

MSET (10 keys): 17955.90 requests per second

相比未使用对象池是好一些。。。

结语

性能数据不是很理想,再找找 Pprof 还有哪些可以优化的,很多 SysCall Runtime 不是很懂,再巩固下 Go 基础。代码格式也不够美观^_^

最近听了十六岁少年,越阳的故事。十六岁花季,凋落的有些无耐

庆幸他的词都被谱成了歌曲,最喜欢赵雷填曲的《让我偷偷看你》,期待明天他会唱这首歌...


有疑问加站长微信联系(非本文作者)

本文来自:简书

感谢作者:董泽润

查看原文:write smart proxy step by step 3 (集群实现)

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

991 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传