k8s-client-go源码剖析(一)

.container .card .information strong · · 99 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

首发于2020年8月份,这里重新做一次发布


简介:云原生社区活动---Kubernetes源码剖析第一期

有幸参与云原生社区举办的Kubernetes源码剖析活动,活动主要以书籍《Kubernetes源码剖析》为主要思路进行展开,提出在看书过程中遇到的问题,和社区成员一起讨论,最后会将结果总结到云原生社区的知识星球或Github。

第一期活动主要以书本第五章<Client-go编程式交互>为主题进行学习,计划共三周半。

计划如下:

  1. client-go客户端学习
  2. Infoermer机制学习
  3. WorkQueue学习
  4. 整体结构回顾、逻辑回顾、优秀代码回顾

学习总得有个重要的优先级,我个人的优先级是这样的,仅供参考:

  1. Informer机制原理
  2. WorkerQueue原理
  3. 几种Client-go客户端的使用、优劣

学习环境相关:

  1. Kubernetes 1.14版本
  2. 对应版本的client-go

本文主题


本文是第一周,课题有两个:

  • Client-go源码结构
  • 几种Client客户端对象学习

Client-go源码目录结构


[root@normal11 k8s-client-go]# tree . -L 1
.
├── CHANGELOG.md
├── code-of-conduct.md
├── CONTRIBUTING.md
├── discovery
├── dynamic
├── examples
├── Godeps
├── go.mod
├── go.sum
├── informers
├── INSTALL.md
├── kubernetes
├── kubernetes_test
├── LICENSE
├── listers
├── metadata
├── OWNERS
├── pkg
├── plugin
├── README.md
├── rest
├── restmapper
├── scale
├── SECURITY_CONTACTS
├── testing
├── third_party
├── tools
├── transport
└── util

client-go代码库已经集成到了Kubernetes源码中,所以书本中展示的内容是在Kubernetes源码中源码结构,而这里展示的是Client-go代码库中原始的内容,所以多了一些源码之外的内容,例如README、example、go.mod等。下面讲一下各个目录的作用,内容引自书本:

几种Client-go客户端


下图是一个简单的总结,其中ClientSet、DynamicClient、DiscoveryClient都是基于RESTClient封装的。

RESTClient

最基础的客户端,对HTTP Request进行了封装,实现了RESTFul风格的API。

案例代码:

package main

import (

"fmt"

corev1 "k8s.io/api/core/v1"
metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
"k8s.io/client-go/kubernetes/scheme"
"k8s.io/client-go/rest"
"k8s.io/client-go/tools/clientcmd"

)

func main() {

config, err := clientcmd.BuildConfigFromFlags("", "/root/.kube/config")
if err != nil {
    panic(err.Error())
}

config.APIPath = "api"
config.GroupVersion = &corev1.SchemeGroupVersion
config.NegotiatedSerializer = scheme.Codecs

restClient, err := rest.RESTClientFor(config)
if err != nil {
    panic(err.Error())
}

result := &corev1.NodeList{}
err = restClient.Get().Namespace("").Resource("nodes").VersionedParams(&metav1.ListOptions{Limit: 100}, scheme.ParameterCodec).Do().Into(result)
if err != nil {
    panic(err)
}

for _, d := range result.Items {
    fmt.Printf("Node Name %v n", d.Name)
}

}

预期运行结果将会打印K8S集群中的node

ClientSet

对RESTClient进行了对象分类方式的封装,可以实例化特定资源的客户端,

以Resource和Version的方式暴露。例如实例化一个只操作appsv1版本的Deploy客户端,

ClientSet可以认为是一系列资源的集合客户端。缺点是不能直接访问CRD。

通过client-gen代码生成器生成带有CRD资源的ClientSet后可以访问CRD资源。(未测试)

案例代码:

package main

import (

apiv1 "k8s.io/api/core/v1"
metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
"k8s.io/client-go/kubernetes"
"k8s.io/client-go/tools/clientcmd"

)

func main() {

config, err := clientcmd.BuildConfigFromFlags("", "/root/.kube/config")
if err != nil {
    panic(err)
}
clientset, err := kubernetes.NewForConfig(config)
if err != nil {
    panic(err)
}

podClient := clientset.CoreV1().Pods(apiv1.NamespaceDefault)

list, err := podClient.List(metav1.ListOptions{Limit: 500})
if err != nil {
    panic(err)
}
for _, d := range list.Items {
    if d.Name == "" {
    }
    // fmt.Printf("NAME:%v t NAME:%v t STATUS: %+vn ", d.Namespace, d.Name, d.Status)
}

//请求namespace为default下的deploy
deploymentClient := clientset.AppsV1().Deployments(apiv1.NamespaceDefault)
deployList, err2 := deploymentClient.List(metav1.ListOptions{Limit: 500})
if err2 != nil {
    panic(err2)
}
for _, d := range deployList.Items {
    if d.Name == "" {

    }
    // fmt.Printf("NAME:%v t NAME:%v t STATUS: %+vn ", d.Namespace, d.Name, d.Status)
}

// 请求ds资源 todo  有兴趣可以尝试下
// clientset.AppsV1().DaemonSets()

}

代码中分别打印了获取到K8S集群中的500个Pod和500个deploy,目前打印语句是注释了,如果要看效果需要先删掉注释。

案例代码中还留了一个小内容,请求获取daemonset资源,感兴趣的可以试一试。

DynamicClient

这是一种动态客户端,对K8S任意资源进行操作,包括CRD。

请求返回的结果是map[string]interface{}

代码案例:

package main

import (

"fmt"

apiv1 "k8s.io/api/core/v1"
corev1 "k8s.io/api/core/v1"
metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
"k8s.io/apimachinery/pkg/runtime"
"k8s.io/apimachinery/pkg/runtime/schema"
"k8s.io/client-go/dynamic"
"k8s.io/client-go/tools/clientcmd"

)

func main() {

config, err := clientcmd.BuildConfigFromFlags("", "/root/.kube/config")
if err != nil {
    panic(err)
}

dymaicClient, err := dynamic.NewForConfig(config)
checkErr(err)
//map[string]interface{}

     //TODO 获取CRD资源 这里是获取了TIDB的CRD资源
// gvr := schema.GroupVersionResource{Version: "v1alpha1", Resource: "tidbclusters", Group: "pingcap.com"}
// unstructObj, err := dymaicClient.Resource(gvr).Namespace("tidb-cluster").List(metav1.ListOptions{Limit: 500})
// checkErr(err)
// fmt.Println(unstructObj)

gvr := schema.GroupVersionResource{Version: "v1", Resource: "pods"}
unstructObj, err := dymaicClient.Resource(gvr).Namespace(apiv1.NamespaceDefault).List(metav1.ListOptions{Limit: 500})
checkErr(err)
// fmt.Println(unstructObj)
podList := &corev1.PodList{}
err = runtime.DefaultUnstructuredConverter.FromUnstructured(unstructObj.UnstructuredContent(), podList)
checkErr(err)
for _, d := range podList.Items {
    fmt.Printf("NAME:%v t NAME:%v t STATUS: %+vn ", d.Namespace, d.Name, d.Status)
}

}

func checkErr(err error) {

if err != nil {
    panic(err)
}

}

这个案例是打印了namespace为default下的500个pod,同样的,在案例中也有一个todo,获取CRD资源,感兴趣的可以尝试一下。如果K8S集群中没有TIDB的资源可以自行换成自己想要的CRD资源。

代码中已经有获取v1alpha1版本的tidbclusters资源。如果你不知道CRD相关的信息,可以按照下面的步骤来找出对应的信息:

  1. 通过kubectl api-resources 获取到资源的Group和Resource
  2. 通过kubectl api-versions 找到对应Group的版本

这样 资源的GVR(Group、Version、Resource)都有了

DiscoveryClient

这是一种发现客户端,在前面的客户端中需要知道资源的Resource和Version才能找到你想要的,

这些信息太多很难全部记住,这个客户端用于获取资源组、版本等信息。

前面用到的api-resources和api-versions都是通过discoveryClient客户端实现的, 源码在Kubernetes源码库中 pkg/kubectl/cmd/apiresources/apiresources.go pkg/kubectl/cmd/apiresources/apiversions.go

// RunAPIResources does the work
func (o APIResourceOptions) RunAPIResources(cmd cobra.Command, f cmdutil.Factory) error {

w := printers.GetNewTabWriter(o.Out)
defer w.Flush()

//拿到一个DiscoveryClient客户端
discoveryclient, err := f.ToDiscoveryClient()
if err != nil {
    return err
} 

// RunAPIVersions does the work
func (o *APIVersionsOptions) RunAPIVersions() error {

// Always request fresh data from the server
o.discoveryClient.Invalidate()

//通过discoveryClient获取group相关信息
groupList, err := o.discoveryClient.ServerGroups()
if err != nil {
    return fmt.Errorf("couldn't get available api versions from server: %v", err)
}

案例代码:

获取集群中的GVR

package main

import (

"fmt"
"k8s.io/apimachinery/pkg/runtime/schema"
"k8s.io/client-go/discovery"
"k8s.io/client-go/tools/clientcmd"

)

func main() {

config, err := clientcmd.BuildConfigFromFlags("","/root/.kube/config")
if err != nil {
    panic(err.Error())
}

discoveryClient, err := discovery.NewDiscoveryClientForConfig(config)
if err != nil {
    panic(err.Error())
}

_, APIResourceList, err := discoveryClient.ServerGroupsAndResources()
if err != nil {
    panic(err.Error())
}
for _, list := range APIResourceList {
    gv, err := schema.ParseGroupVersion(list.GroupVersion)
    if err != nil {
        panic(err.Error())
    }
    for _, resource := range list.APIResources {
        fmt.Printf("name: %v, group: %v, version %vn", resource.Name, gv.Group, gv.Version)
    }
}

}

预期效果:打印集群中的GVR

[root@normal11 discoveryclient]# go run main.go 
name: bindings, group: , version v1
name: componentstatuses, group: , version v1
name: configmaps, group: , version v1
name: endpoints, group: , version v1
...

DiscoveryClient在请求到数据之后会缓存到本地,默认存储位置是~/.kube/cache和~/.kube/http-cache,默认是每10分钟会和API Server同步一次。

总结


第一周主要是了解下各种客户端的使用以及不同,有时间的可以再进行一些拓展试验,研究对象可以选择一些主流的框架或官方示例,例如:

  1. Sample-Controller 中如何使用client-go的
  2. Kubebuilder中如何使用client-go的
  3. Operator-sdk中如何使用client-go的

延伸阅读:

  1. 活动 Kubernetes 源码研习社 第一期活动
  2. 如何高效阅读 Kubernetes 源码?
始发于 四颗咖啡豆,转载请声明出处.
关注公粽号->[四颗咖啡豆] 获取最新内容

有疑问加站长微信联系(非本文作者)

本文来自:Segmentfault

感谢作者:.container .card .information strong

查看原文:k8s-client-go源码剖析(一)

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:701969077

99 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传