在《使用Ceph RBD为Kubernetes集群提供存储卷》一文中,我们了解到,在Kubernetes和ceph的集成过程中,有一个步骤是需要手动操作的,那就是创建ceph osd pool下面的rbd image。我们需要想办法去除这一手动步骤。关于方案,我们首先想到的就是是否可以调用Ceph提供的REST API来管理rbd的pool和image?
Ceph提供了两套REST API方案:ceph-rest-api和Calamari。不过从现有资料来看,这两套REST API似乎都没有提供操作pool下image的服务接口。Calamari计划实现image的service接口,但目前已经没有实现。
在Ceph REST API对rbd的覆盖还全面的情况下,我们只能自己动手,丰衣足食了:我们需要利用ceph提供library API实现对pool和image的管理,并对外提供自定义的Service API。如果你是一名gopher,那么go-ceph这个golang ceph library API binding将会给你带来不小的帮助。go-ceph实质上是通过cgo做的一个ceph c library的golang binding,覆盖较为全面:rados、rbd和cephfs都支持。
一、安装go-ceph和依赖
首先,由于用的是cgo,使用go-ceph包的程序在编译时势必要去链接ceph的c library,因此我们在开发环境中需要首先安装go-ceph包的一些依赖(在ubuntu 14.04上):
# apt-get install librados-dev
# apt-get install librbd-dev
# ls /usr/include/rados
buffer_fwd.h buffer.h crc32c.h librados.h librados.hpp memory.h page.h rados_types.h rados_types.hpp
# ls /usr/include/rbd
features.h librbd.h librbd.hpp
接下来就是安装go-ceph自身了,我们通过最常用的go get命令就可以很顺利的下载到go-ceph包。
# go get github.com/ceph/go-ceph
二、go-ceph:连接Ceph集群
go-ceph的文档不多,但go-ceph使用起来并不算困难,关于go-ceph中各个包的用法,可以参考对应包中的*_test.go文件。
连接Ceph集群的方法之一如下:
//github.com/bigwhite/experiments/blob/master/go-ceph/conn.go
package main
import (
"fmt"
"github.com/ceph/go-ceph/rados"
)
func main() {
conn, err := rados.NewConn()
if err != nil {
fmt.Println("error when invoke a new connection:", err)
return
}
err = conn.ReadDefaultConfigFile()
if err != nil {
fmt.Println("error when read default config file:", err)
return
}
err = conn.Connect()
if err != nil {
fmt.Println("error when connect:", err)
return
}
fmt.Println("connect ceph cluster ok!")
conn.Shutdown()
}
这里conn对象采用的是读取默认配置文件(/etc/ceph/ceph.conf)的方式获取的mon node信息,go-ceph文档中称还可以通过命令行参数以及环境变量的方式获取。但命令行参数的方式,我个人试了几次都没能连上。即便是对照着librados c api的文档进行参数传递也没成。
三、go-ceph:管理pool
Pool是Ceph集群的一个逻辑概念,一个Ceph集群可以有多个pool,每个pool是逻辑上的隔离单位。不同的pool可以有完全不一样的数据处理方式,比如Replica Size(副本数)、Placement Groups、CRUSH Rules、快照、所属者等。go-ceph支持对pool的创建、查看以及删除等管理操作:
//github.com/bigwhite/experiments/blob/master/go-ceph/pool.go
... ...
func newConn() (*rados.Conn, error) {
conn, err := rados.NewConn()
if err != nil {
return nil, err
}
err = conn.ReadDefaultConfigFile()
if err != nil {
return nil, err
}
err = conn.Connect()
if err != nil {
return nil, err
}
return conn, nil
}
func listPools(conn *rados.Conn, prefix string) {
pools, err := conn.ListPools()
if err != nil {
fmt.Println("error when list pool", err)
os.Exit(1)
}
fmt.Println(prefix, ":", pools)
}
func main() {
conn, err := newConn()
if err != nil {
fmt.Println("error when invoke a new connection:", err)
return
}
defer conn.Shutdown()
fmt.Println("connect ceph cluster ok!")
listPools(conn, "before make new pool")
err = conn.MakePool("new_pool")
if err != nil {
fmt.Println("error when make new_pool", err)
return
}
listPools(conn, "after make new pool")
err = conn.DeletePool("new_pool")
if err != nil {
fmt.Println("error when delete pool", err)
return
}
listPools(conn, "after delete new_pool")
}
执行pool.go:
# go run pool.go
connect ceph cluster ok!
before make new pool : [rbd rbd1]
after make new pool : [rbd rbd1 new_pool]
after delete new_pool : [rbd rbd1]
四、go-ceph:管理image
image是我们真正要去管理的对象(pool可以采用默认的”rbd”),image的管理依赖go-ceph下的rbd包:
//github.com/bigwhite/experiments/blob/master/go-ceph/image.go
... ...
func listImages(ioctx *rados.IOContext, prefix string) {
imageNames, err := rbd.GetImageNames(ioctx)
if err != nil {
fmt.Println("error when getImagesNames", err)
os.Exit(1)
}
fmt.Println(prefix, ":", imageNames)
}
func main() {
conn, err := newConn()
if err != nil {
fmt.Println("error when invoke a new connection:", err)
return
}
defer conn.Shutdown()
fmt.Println("connect ceph cluster ok!")
ioctx, err := conn.OpenIOContext("rbd")
if err != nil {
fmt.Println("error when openIOContext", err)
return
}
defer ioctx.Destroy()
listImages(ioctx, "before create new image")
name := "go-ceph-image"
img, err := rbd.Create(ioctx, name, 1<<20, 20)
if err != nil {
fmt.Println("error when create rbd image", err)
return
}
listImages(ioctx, "after create new image")
err = img.Remove()
if err != nil {
fmt.Println("error when remove image", err)
return
}
listImages(ioctx, "after remove new image")
}
这里要注意的是rbd.Create这个方法,如果第三个参数(image size)传递过小,那么rbd.Create会报错,比如;如果我们将那一伙代码改为:
img, err := rbd.Create(ioctx, name, 1<<10, 10)
那么执行image.go时,会得到一下错误:
error when create rbd image rbd: ret=-33
33就是linux errno,其含义是:
#define EDOM 33 /* Math argument out of domain of func */
猜测这个参数的单位是字节,具体参数的合法范围,文档和代码并没有给出显式说明。
五、小结
go-ceph实现了rbd pool/images的基本管理功能,为提供rbd restful api奠定了基础。写了三篇长文后,来一篇短的,营养算不上多,用于备忘还好。
© 2016, bigwhite. 版权所有.
有疑问加站长微信联系(非本文作者)