基于Codis的Redis集群部署

Codis是基于代理的高性能Redis集群方案，使用Go语言进行开发，现在在在豌豆荚及其它公司内已经广泛使用，当然也包括我们公司。

Codis与常见的Redis集群方案对比。

image.png

在搭建的时候，个人觉得Redis Cluster搭建起来非常容易，但是redis-cluster没有GUI管理面板，另外查询资料发现redis-cluster的客户端实现redis-cluster的协议比较麻烦。

而codis在使用的时候，就像正常连接redis客户端一样，不过codis有些命令不支持。动手吧

多看几眼这个官方架构图，有助于我们理解codis的架构，方便后面操作

image.png

过程

1. 如果编译安装codis,安装codis依赖的库,使用yum安装的golang库默认在/usr/lib/golang目录下，编译起来也没有很麻烦了

yum install golang -y
yum install autoconf -y

2. 下载源文件，并且编译

cd /usr/lib/golang
mkdir -p src/github.com/CodisLabs
cd src/github.com/CodisLabs/
git clone https://github.com/CodisLabs/codis.git -b release3.2
cd codis
make

然后会得到编译的文件，不出意外都可以编译成功，记得安装linux的开发工具包

image.png

3. 在运行命令之前，先看一下运行命令包含的内容
   在config目录下，会有运行几个组件的配置文件，这些文件都可以使用命令自动生成

codis-dashboard  --default-config #生成codis-dashboard的默认配置文件
codis-proxy --default-config  #生成codis-proxy的默认配置文件

如果你对zookeeper,etcd等分布式协调组件比较熟悉，这两个命令生成的配置文件中都可以指定使用zookeeper，或者etcd, jodis是基于codis的redis客户端。

image.png

image.png

相关的shell脚本，看一下admin目录中的内容，都可以理解的，修改下配置文件什么的

4. 运行集群

./admin/codis-proxy-admin.sh start  #dashboard提供REST API管理codis的集群
./admin/codis-proxy-admin.sh start  #codis代理，使用的时候连接的是codis-proxy
./admin/codis-fe-admin.sh start     #fe，用来提供GUI管理codis的

到这一步的时候，我们已经可以访问codis的管理界面了，访问http://127.0.0.1:9090，这个时候codis的管理面板基本上是空的。

5. 运行redis服务器，就像常规的运行redis服务器，可以设置slave等相关

./redis-server /etc/redis/redis_6379.conf   # 记得设置redis绑定地址或者认证相关
./redis-server /etc/redis/redis_6380.conf   #这个设置为6379的slave

设置为redis的slave，指定slaveof 127.0.0.1:6379。

6. 在codis-fe的管理面板中操作
   首先添加codis-proxy

   
   
   

   image.png

然后添加redis-group，可以添加不同的group，然后往group里面添加服务器，留意Data Center和Group，正常情况下在每一个组中添加的第一台服务器都是master，往后都是slave，就算你添加的是另外的master节点，点击绿色的修复按钮，新加入的master也会变成slave的。

image.png

7. 测试，留意上面的图片，我添加了两台codis-proxy，然后4台redis-server，我们可以做测试了。

image.png

8. 连接到不同的codis-proxy上面取得的数据都是一样的，这样当我们配置多个proxy的时候，其中的proxy挂掉了，也是可以正常使用的，另外通过管理界面，我们可以动态的添加redis-server。

注意点

集群搭建起来，参考官方的文档也不会很麻烦，完成一整套流程之后，提醒一些搭建的时候要注意的点。

1. 管理面板上的，在管理codis-proxy那一部分，可以看到我们的命令执行情况，命令分配到那一台主机。
2. 加入新的redis-server之后，不要忘记了迁移slot，如果再生产环境迁移slot要注意时机。
3. redis-proxy可以配置不同的data-center，我想这个在客户端使用工具的时候可以指定。

配置多个proxy，连接不同的proxy获取的数据都是一致的，proxy代理的是多个redis-master，数据在后端的redis-server上也是分片存储的。

如果配置了多个redis-master，也可以说redis-group，每一个master存储的是部分的数据。

最后

纸上得来终觉浅，在公司内部一般有专门的运维来负责这部分的维护，保证高可用相关内容。另外真正搭建过cods之后，觉得codis比redis-cluster好用一些，除了搭建复杂一点，概念多了一点点，后续使用很简单了。

参考

• 唯品会 Redis cluster 大规模生产实践
• Codis教程