Kubernetes Dashboard 1.7.0部署二三事

由于开发的平台要进行内部公开测试，我们这周在公司内部私有云搭建了一套平台。涉及到Kubernetes相关的基础软件，由我来部署。Kubernetes以及其相关组件都在积极的开发中，版本更新也很快。截至本文撰写时，K8s发布最新稳定版是v1.7.6，而与之配套的Dashboard则是v1.7.0。

最初在部署规划时，我选择了Kubernetes v1.7.6+ dashboard v1.6.3的组合。之前K8s v1.7.3的稳定让我对使用最新Release版有一些信心，但dashboard v1.7.0则是三天前刚发布的，看dashboard的commit log，之前还大规模revert了一次。因此，我保守的选择了v1.6.3。

一、但Dashboard v1.6.3与Kubernetes 1.7.6似乎不匹配

在Kubernetes Dashboard的兼容性矩阵中，我们能看到dashboard 1.6.x与k8s 1.7.x的兼容性是一个问号：

也就是说由于K8S API可能的变动，Dashboard 1.6.x的某些功能可能无法使用。之前我在阿里云上的测试环境中使用的是k8s 1.7.3+dashboard 1.6.3的组合，我需要的功能均可以使用。因此这里我首先尝试了dashboard v1.6.3。

安装过程不赘述。我依旧通过kube-apiserver暴露服务的方式来访问dasbboard，kube-apiserver采用basic auth的身份验证方式。我尝试在浏览器中访问下面路径：

https://{kube-apiserver}:6443/ui

在浏览器弹出的身份验证对话框中输入user/password后，url跳转到：

https://{kube-apiserver}:6443/api/v1/namespaces/kube-system/services/kubernetes-dashboard/proxy

不过等了许久，浏览器页面依旧一片空白。Dashboard的内容并未鲜露出来。通过chrome浏览器自带的”检查”功能，发现一些静态资源（css、js）的get请求都返回404错误。由于时间有限，没有细致查问题所在。我打算用Dashboard 1.7.0试试。

二、采用Dashboard v1.7.0

1.7.0版本dashboard主要强化了安全性，增加了登录页面和相关菜单项，并增加了一个kubernetes-dashboard-init-amd64 init容器。我们无需再依赖浏览器弹框了。dashboard调整了源码目录结构，安装1.7.0需要执行下面命令：

kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/recommended/kubernetes-dashboard.yaml

安装后，我们继续按原有方式访问dashboard，即访问https://{kube-apiserver}:6443/ui，但我们得到如下错误信息：

Error: 'malformed HTTP response "\x15\x03\x01\x00\x02\x02"'
Trying to reach: 'http://10.40.0.5:8443/'

回头再看dashboard的wiki，发现其告知的通过kube-apiserver访问dashboard的url如下：

https://{kube-apiserver}:6443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy

访问该地址后，我们在浏览器中看到如下登录页面：

dashboard v1.7.0默认支持两种身份校验登录方式：kubeconfig和token两种。我们说说token这种方式。点击选择:Token单选框，提示你输入token。token从哪里获取，我们从来没有生成过token？其实当前K8s中已经有了很多token：

root@ubuntu-k8s-1:~# kubectl  get secret -n kube-system
NAME                                     TYPE                                  DATA      AGE
attachdetach-controller-token-8pps2      kubernetes.io/service-account-token   3         4d
bootstrap-signer-token-jfj4q             kubernetes.io/service-account-token   3         4d
 ... ....

service-controller-token-9zqbz           kubernetes.io/service-account-token   3         4d
statefulset-controller-token-m7shd       kubernetes.io/service-account-token   3         4d
token-cleaner-token-sfvm8                kubernetes.io/service-account-token   3         4d
ttl-controller-token-dxjz9               kubernetes.io/service-account-token   3         4d
weave-net-token-zfgbp                    kubernetes.io/service-account-token   3         4d

想看那个secret对应的token，就执行kubectl describe secret/{token_name} -n kube-system。比如，我们查看一下service-controller-token-9zqbz 对应的token是多少：

root@ubuntu-k8s-1:~# kubectl describe secret/service-controller-token-9zqbz -n kube-system
Name:        service-controller-token-9zqbz
Namespace:    kube-system
Labels:        <none>
Annotations:    kubernetes.io/service-account.name=service-controller
        kubernetes.io/service-account.uid=907b4a3b-9f59-11e7-a3ea-0650cc001a5b

Type:    kubernetes.io/service-account-token

Data
====
ca.crt:        1025 bytes
namespace:    11 bytes
token:        eyJhbG...QH9rfu7QI81QJg

现在你可以把上面token key对应那一长串copy到dashboard的token输入框中，点击：signin。即可登录。不过由于token对应的Service account的权限不同，即使进入dashboard，也干不了啥，甚至是啥也不能干。

三、让Dashboard v1.7.0支持basic auth login方式

我们要用basic auth方式登录dashboard，需要对kubernetes-dashboard.yaml进行如下修改：

        args:
          - --tls-key-file=/certs/dashboard.key
          - --tls-cert-file=/certs/dashboard.crt
          - --authentication-mode=basic    <---- 添加这一行

然后apply一下该yaml文件，等dashboard pod重新创建ok后，我们就可以user、password方式登录dashboard了：

四、集成heapster

heapster当前最新版本v1.4.2，我们采用influxdb作为后端，因此使用的是下面的一些yaml文件：

root@ubuntu-k8s-1:~/k8s176-install/dashboard/heapster-1.4.2/deploy/kube-config/influxdb# ls
grafana.yaml  heapster.yaml  influxdb.yaml

不过在创建这些pod之前，我们先要创建一些权限绑定：

root@ubuntu-k8s-1:~/k8s176-install/dashboard/heapster-1.4.2/deploy/kube-config/rbac# kubectl create -f heapster-rbac.yaml
clusterrolebinding "heapster" created

heapster使用的grafana是v4.2.0版本，该版本有一个bug，一旦运行后，会出现类似如下的错误：

# kubectl logs -f  monitoring-grafana-762361155-p9vwj  -n kube-system
Starting a utility program that will configure Grafana
Starting Grafana in foreground mode
t=2017-08-09T06:10:57+0000 lvl=crit msg="Failed to parse /etc/grafana/grafana.ini, open /etc/grafana/grafana.ini: no such file or directory%!(EXTRA []interface {}=[])"

我们需要将grafana升级到v4.4.1版本。修改上面的heapster-1.4.2/deploy/kube-config/influxdb/grafana.yaml:

    spec:
      containers:
      - name: grafana
        image: gcr.io/google_containers/heapster-grafana-amd64:v4.4.1

创建heapster:

root@ubuntu-k8s-1:~/k8s176-install/dashboard/heapster-1.4.2/deploy/kube-config# kubectl create -f influxdb/
deployment "monitoring-grafana" created
service "monitoring-grafana" created
serviceaccount "heapster" created
deployment "heapster" created
service "heapster" created
deployment "monitoring-influxdb" created
service "monitoring-influxdb" created

dashboard在页面上增加了一些新的展示组件，就像下面这样的：

微博：@tonybai_cn
微信公众号：iamtonybai
github.com: https://github.com/bigwhite

© 2017, bigwhite. 版权所有.

Related posts:

1. Kubernetes Dashboard集成Heapster
2. 解决Kubernetes 1.6.4 Dashboard无法访问的问题
3. 在Kubernetes Pod中使用Service Account访问API Server
4. Kubernetes集群Dashboard插件安装
5. 以Kubeadm方式安装的Kubernetes集群的探索

有疑问加站长微信联系（非本文作者）