【每日笔记】【Go学习笔记】2019-01-07 Codis笔记

LNMPR源码研究 · · 905 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

闫昌

architecture

https://github.com/CodisLabs/...
clipboard.png

从codis的整体架构图中可以看到,codis-dashboard将配置信息存储在storage中,其中storage可以是zookeeper、etcd、filesystem这种,那么dashboard是怎么知道应用哪种存储结构呢?

从dashboard/main.go的第118行进入到models.NewClient函数中,我们看到,程序根据不同的coordinator值(dashboard.toml的coordinator_name配置值),来生成不同的client结构体对象。

func NewClient(coordinator string, addrlist string, auth string, timeout time.Duration) (Client, error) {
    switch coordinator {
    case "zk", "zookeeper":
        return zkclient.New(addrlist, auth, timeout)
    case "etcd":
        return etcdclient.New(addrlist, auth, timeout)
    case "fs", "filesystem":
        return fsclient.New(addrlist)
    }
    return nil, errors.Errorf("invalid coordinator name = %s", coordinator)
}

从main.go的第136行进入topom.New函数,我们看到New函数的第108行对topom的store进行了赋值,传入的参数就是NewClient的返回值,所以经过这两步我们就可以知道,dashboard根据dashboard.toml配置文件中的coordinator_name配置的值来确认最终存储位置。

我们现在来看一下dashboard的部分工作流程:

用户通过9090端口请求到codis-fe,可以对codis集群进行管理和状态查看
codis-proxy将自己的IP等信息存储在zk中,在自己IP发生变化时及时通知zk,dashboard和其它客户端可以直接从zk中获取proxy的连接信息
dashboard将自己的配置信息存储在storage中
dashboard通过轮循方式向proxy获取其状态信息,获取接口为“/api/proxy/stats”,端口为11080,经过抓包可以看到,在请求多次之后,dashboard会主动断开连接,再次轮循会用新的端口进行请求。

clipboard.png

在FE界面codis-group添加一个server时,会调用/api/topom/group/add接口,我们通过dashboard/main.go第136行依次进入topom.New->s.serverAdmin->newApiServer,我们可以看到/api/topom/group/add调用的最终函数是api.GroupAddServer,在此函数中,会首先向添加的redis服务器建立一个连接,建立连接之后,会向redis发送一个"slotsinfo"命令,此命令是codis-server单独添加的一个命令,普通redis服务器并不支持此命令,dashboard根据此命令返回值来判断可否将此redis添加到codis-group中

func (s *apiServer) GroupAddServer(params martini.Params) (int, string) {
    ...
    c, err := redis.NewClient(addr, s.topom.Config().ProductAuth, time.Second)//与redis-server建立连接
    ...
    if _, err := c.SlotsInfo(); err != nil {//向redis-server发送一个slotsinfo命令,如果失败,表示redis-server不是codis-server服务器,不能添加到codis-group中
        log.WarnErrorf(err, "redis %s check slots-info failed", addr)
        return rpc.ApiResponseError(err)
    }
    if err := s.topom.GroupAddServer(gid, dc, addr); err != nil {//将codis-server添加到codis-group中
        return rpc.ApiResponseError(err)
    } else {
        return rpc.ApiResponseJson("OK")
    }
}

问题:

  • dashboard轮循N次之后,会主动断开连接,那么这段逻辑在哪?
  • HTTP1.1默认是keepalived的,如果轮循方式不是go自己控制的,那为什么会主动断开连接?
  • codis-proxy是什么时候向redis连接的?

有疑问加站长微信联系(非本文作者)

本文来自:Segmentfault

感谢作者:LNMPR源码研究

查看原文:【每日笔记】【Go学习笔记】2019-01-07 Codis笔记

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

905 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传