用Go实现Redis之三get/set命令实现

alphali · · 208 次点击 · · 开始浏览    

写在前面

本篇Godis版本号:v0.0.2

前一篇文章实现了客户端/服务端的交互。这一篇,主要介绍get/set命令的实现。
命令本身比较简单,支撑命令的整个系统基础比较麻烦。本文会介绍get/set操作涉及的组件和模块,并适当简化,最后实现功能。

Redis用C语言写成,C语言自身不支持复杂数据结构,所以Redis中的string、list、set等结构,均是Redis自身实现;而Go版本的Godis,会尽量使用原生数据结构。


原理简介

set命令和get命令是Redis中使用频率最高的命令,以set为例,命令“set key value”,将键值对存储到Redis服务端,可以简化为“操作一个远程关联数组”。
当然,相比关联数组,Redis多了如下特性:

  1. 多DB,支持数据库切换;
  2. 高可用之数据持久化;
  3. 高可用之主从复制;
  4. 安全、事务、发布订阅等。

本文重点实现数据在内存中的存储及查询,交互协议和持久化会在后续短文实现。

执行流程

流程拆解

从服务端初始化、客户端输入“set alpha 123”命令,到接收到返回结果,经历如下步骤:

  1. 实例化server及相关资源,准备连接;
  2. 客户端与服务端建立连接,服务端初始化一个client结构体,用来保存当前连接;
  3. 将客户端请求的“set alpha 123”字符串,分拆为“set”、“alpha”、“123”三部分;
  4. 查找是否支持set命令,并确定参数合法,调set用命令的实现函数SetCommand,更新db数据;
  5. 执行结果响应给客户端;

执行流程大致如下:
图片描述


接下来分开说明主要步骤。

1.数据交互

前篇实现的客户端/服务端交互使用的协议是textproto,没有使用Redis自身的统一协议。这一篇,客户端对服务端执行的get、set命令,均以原生文本方式发送给服务端执行。在读者阅读实现代码时,也可以看到最新release版本,与v0.0.1有一处diff是在godis-cli.go文件:

//清除掉回车换行符
//text = strings.Replace(text, "\n", "", -1)

该行被暂时注释掉,也就是在v0.0.2版本,使用“n”作为文本协议分隔符,确定命令的结尾。

如客户端发送"set alpha 123",服务端接收到的就是如下字节数据:

clipboard.png

分别对应ASCII码为:

clipboard.png

2.服务端准备

第一篇(https://segmentfault.com/a/11...)提到过服务端需要一个server结构体存储相关信息,在服务端准备好处理请求前,对该结构进行实例化并进行一系列初始化操作:初始化基本配置、分配多db资源、加载磁盘持久化数据、信号监听处理等。
初始化server的代码主要是一些赋值操作和相应结构体初始化:

// 初始化服务端实例
func initServer() {
    godis.Pid = os.Getpid()
    godis.DbNum = 16
    initDb()
    godis.Start = time.Now().UnixNano() / 1000000
    //var getf server.CmdFun

    getCommand := &core.GodisCommand{Name: "get", Proc: core.GetCommand}
    setCommand := &core.GodisCommand{Name: "set", Proc: core.SetCommand}

    godis.Commands = map[string]*core.GodisCommand{
        "get": getCommand,
        "set": setCommand,
    }
}

// 初始化db
func initDb() {
    godis.Db = make([]*core.GodisDb, godis.DbNum)
    for i := 0; i < godis.DbNum; i++ {
        godis.Db[i] = new(core.GodisDb)
        godis.Db[i].Dict = make(map[string]*core.GodisObject, 100)
    }
}

这里简单解释下core.GodisCommand结构。该结构很简单,记录了命令的名字、函数指针和参数校验相关的信息。在执行命令前,校验命令是否存在的过程,需要查找支持的”命令表“。该命令表就是commands,commands由一组core.GodisCommand构成。commands中查不到的命令,则为不支持的命令;而命令参数需要满足哪些条件,由core.GodisCommand结构的其他字段记录。

3.服务端接收

当服务端准备就绪,开始接受请求。
请求到来,server会实例化一个client结构体,保存当前连接。该client结构体也在前篇有介绍,主要用来存储当前连接的db等信息。

// CreateClient 连接建立 创建client记录当前连接
func (s *Server) CreateClient(conn net.Conn) (c *Client) {
    c = new(Client)
    c.Db = s.Db[0]
    c.Argv = make([]*GodisObject, 5)
    c.QueryBuf = ""
    return c
}

4.执行命令

将请求的命令分解,校验无误后,调用响应函数执行。注意,只在当前client结构指向的db中执行插入、查询、更新等操作。如果需要操作其他db,执行"select"命令便将当前client指向的db指针指向select后的位置。
执行完成后,将结果写入到client结构的Buf字段。

下面的handle函数包括了client的创建、数据接收、执行和返回。

// 处理请求
func handle(conn net.Conn) {
    c := godis.CreateClient(conn)
    for {
        err := c.ReadQueryFromClient(conn)

        if err != nil {
            log.Println("readQueryFromClient err", err)
            return
        }
        c.ProcessInputBuffer()
        godis.ProcessCommand(c)
        responseConn(conn, c)
    }
}
// ProcessCommand 执行命令
func (s *Server) ProcessCommand(c *Client) {
    v := c.Argv[0].Ptr
    name, ok := v.(string)
    if !ok {
        log.Println("error cmd")
        os.Exit(1)
    }
    cmd := lookupCommand(name, s)
    if cmd != nil {
        c.Cmd = cmd
        call(c, s)
    } else {
        addReply(c, CreateObject(ObjectTypeString, fmt.Sprintf("(error) ERR unknown command '%s'", name)))
    }
}

ProcessCommand函数先从命令表中查找命令,如果存在,调用该命令的实现,并将结果写入client.Buf字段。

5.响应请求

将client.Buf内容,返回给请求方,完成。
最后将执行结果返回给请求方。

// 响应返回给客户端
func responseConn(conn net.Conn, c *core.Client) {
    conn.Write([]byte(c.Buf))
}

测试

分别编译服务端和命令行客户端:
go build godis-server.go
go build godis-server.go

启动 ./godis-server

1.非法命令:


clipboard.png

2.set/get命令:

服务端启动:
clipboard.png

cli请求:

clipboard.png

本篇问题

  1. 文本协议的格式分隔符没有处理好,在服务端又是使用的conn.Read(buff),读入的数据与buff额外的缓冲区混在一起。而print字符串又屏蔽了有效字符串后全零的问题(print调试最好输出原始数据)。

下集预告

  1. 实现redis统一协议

本文来自:Segmentfault

感谢作者:alphali

查看原文:用Go实现Redis之三get/set命令实现

208 次点击  
加入收藏 微博
上一篇:忽略
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传