在用 goreman 管理整个 TiDB 集群的时候,我发现 goreman 的 run stop 功能并不能正常的干掉 TiDB 组件,开始我觉得是我们自己代码的没有,没有很好的处理相关信号,但后来发现,TiDB 这边是压根没有收到信号,所以问题铁定在其他的地方,于是浏览下 goreman 的源码,发现使用的是 /bin/sh -c
的方式来启动的 TiDB 程序,可能就跟这个有关系。
首先,写两个简单的程序,一个是直接启动进程,另一个是使用 /bin/sh -c
的方式启动。简单起见,我们直接 sleep 很长一段时间,然后在 10 秒之后,kill 掉进程。
func child() {
cmd := exec.Command("sleep", "600")
start := time.Now()
time.AfterFunc(10*time.Second, func() { cmd.Process.Kill() })
ecmd.Run()
}
func grand_child() {
cmd := exec.Command("/bin/sh", "-c", "sleep 1000")
time.AfterFunc(10*time.Second, func() { cmd.Process.Kill() })
cmd.Run()
}
启动之后,我们会发现有三个 sleep 进程,其中,31126 是 31124 的子进程。
PPID PID PGID SID TTY TPGID STAT UID TIME COMMAND
31119 31124 31119 30890 pts/0 31119 S+ 1000 0:00 /bin/sh -c sleep 1000
31119 31125 31119 30890 pts/0 31119 S+ 1000 0:00 sleep 600
31124 31126 31119 30890 pts/0 31119 S+ 1000 0:00 sleep 1000
10 秒之后,我们发现,31126 还是存在,并且没有被 kill 掉,也就是,直接 kill 31124 并不能干掉它的子进程。而且 31126 的父进程现在已经变成了 1,也就是 31126 变成了孤儿进程,然后被 init 进程给接管了。
PPID PID PGID SID TTY TPGID STAT UID TIME COMMAND
1 31126 31119 30890 pts/0 30890 S 1000 0:00 sleep 1000
为了解决这个问题,我们需要的是 kill process group,而不是只 kill 父进程,在 Linux 里面使用的是 kill -- -PID
的方式。同时为了避免自杀,我们需要是为 /bin/sh
这边额外在创建一个新的进程组(在上面我们可以注意到,所有的 PGID 都是 31119,如果直接 kill -- -PID
,会把所有相关的进程都干掉)。
在 Go 里面,我们使用 Setpgid: true
来显示的创建一个新的进程组,如下:
func grand_child() {
cmd := exec.Command("/bin/sh", "-c", "sleep 1000")
cmd.SysProcAttr = &syscall.SysProcAttr{Setpgid: true}
time.AfterFunc(10*time.Second, func() {
syscall.Kill(-cmd.Process.Pid, syscall.SIGKILL)
})
cmd.Run()
}
启动之后,会发现 /bin/sh
启动的进程已经使用了一个新的进程组了:
PPID PID PGID SID TTY TPGID STAT UID TIME COMMAND
4517 4522 4522 3374 pts/0 4517 S 1000 0:00 /bin/sh -c sleep 1000
4522 4524 4522 3374 pts/0 4517 S 1000 0:00 sleep 1000
然后 10 秒之后,相关进程全部被 kill 掉了。
既然弄懂了 kill grand process 的方法,再看 goreman 的问题就比较容易了。在 goreman 里面,其实也有 kill process group 的代码,但是,它漏掉了最关键的 Setpgid: true
,提个 PR,搞定收工。
有疑问加站长微信联系(非本文作者)