filebeat的“too many open files”的排查

现象

filebeat的日志中出现

2019-04-23T14:28:30.304+0800    WARN    transport/tcp.go:36 DNS lookup failure "systemlog-collect-2.novalocal": lookup systemlog-collect-2.novalocal: too many open files
2019-04-23T14:28:39.689+0800    ERROR   pipeline/output.go:74   Failed to connect: lookup systemlog-collect-1.novalocal: too many open files

查看设置的max open files

进程的（最终以这个为准）：

[root]# cat /proc/<pid>/limits | grep "Max open files"
Max open files            1024                 4096                 files

系统配置的：

[root@hdp1-hadoop-datanode-6 ~]# ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 127966
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 32768
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 32768
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

解决方法：修改filebeat的限制

filebeat是通过systemd控制的，修改服务的 LimitNOFILE 配置即可

[Unit]
Description=filebeat
Documentation=https://www.elastic.co/guide/en/beats/filebeat/current/index.html
Wants=network-online.target
After=network-online.target

[Service]
LimitNOFILE=32768
ExecStart=/usr/share/filebeat/bin/filebeat  -c /etc/filebeat/filebeat.yml
Restart=on-failure

[Install]
WantedBy=multi-user.target

重启

systemctl daemon-reload
systemctl restart filebeat

查看打开数 lsof

只有FD列中数字开头的才算限制的范围内。 “NODE”这个是文件inode，同一个文件可能会被打开多次，那么就有多个句柄。
线程与进程：进程是资源的最小单位，直接使用lsof不加参数可以看到所有线程的打开文件，但从fd那列可以看到实际上是重复的

[root@hdp1-hadoop-datanode-6 ~]# lsof -c filebeat
COMMAND    PID USER   FD      TYPE             DEVICE SIZE/OFF       NODE NAME
filebeat 30309 root  cwd       DIR              253,0     4096         64 /
filebeat 30309 root  rtd       DIR              253,0     4096         64 /
filebeat 30309 root  txt       REG              253,0 47580429   36674332 /usr/share/filebeat/bin/filebeat
filebeat 30309 root  mem       REG              253,0    61752       1373 /usr/lib64/libnss_files-2.17.so
filebeat 30309 root  mem       REG              253,0  2116736       1355 /usr/lib64/libc-2.17.so
filebeat 30309 root  mem       REG              253,0    19344       1361 /usr/lib64/libdl-2.17.so
filebeat 30309 root  mem       REG              253,0   143352       1381 /usr/lib64/libpthread-2.17.so
filebeat 30309 root  mem       REG              253,0   155064       1348 /usr/lib64/ld-2.17.so
filebeat 30309 root    0r      CHR                1,3      0t0       1028 /dev/null
filebeat 30309 root    1u     unix 0xffff8800025a8000      0t0  348814743 socket
filebeat 30309 root    2u     unix 0xffff8800025a8000      0t0  348814743 socket
filebeat 30309 root    3r      CHR                1,9      0t0       1033 /dev/urandom
filebeat 30309 root    4u  a_inode                0,9        0       5868 [eventpoll]
filebeat 30309 root    5w      REG              253,0 86117783     768307 /matrix/data/logs/filebeat/filebeat
filebeat 30309 root    6u     sock                0,7      0t0 2873047023 protocol: TCP

lsof的使用

https://www.cnblogs.com/peida/archive/2013/02/26/2932972.html
常用参数：

-a 列出打开文件存在的进程

-c<进程名> 列出指定进程所打开的文件

-g  列出GID号进程详情

-d<文件号> 列出占用该文件号的进程

+d<目录>  列出目录下被打开的文件

+D<目录>  递归列出目录下被打开的文件

-n<目录>  列出使用NFS的文件

-i<条件>  列出符合条件的进程。（4、6、协议、:端口、 @ip ）

-p<进程号> 列出指定进程号所打开的文件

-u  列出UID号进程详情

golang设置max open files

package main

/*
#include <stdio.h>
#include <sys/time.h>
#include <sys/resource.h>

int rlimit_init() {
    printf("setting rlimit\n");

    struct rlimit limit;

    if (getrlimit(RLIMIT_NOFILE, &limit) == -1) {
        printf("getrlimit error\n");
        return 1;
    }

    limit.rlim_cur = limit.rlim_max = 50000;

    if (setrlimit(RLIMIT_NOFILE, &limit) == -1) {
        printf("setrlimit error\n");
        return 1;
    }

    printf("set limit ok\n");
    return 0;
}
*/
import "C"

func main() {
    C.rlimit_init()
}

或者： syscall 包（linux下）

package main

import (
    "fmt"
    "os"
    "syscall"
)

func main() {
    var rlim syscall.Rlimit
    err := syscall.Getrlimit(syscall.RLIMIT_NOFILE, &rlim)
    if err != nil {
        fmt.Println("get rlimit error: " + err.Error())
        os.Exit(1)
    }
    rlim.Cur = 50000
    rlim.Max = 50000
    err = syscall.Setrlimit(syscall.RLIMIT_NOFILE, &rlim)
    if err != nil {
        fmt.Println("set rlimit error: " + err.Error())
        os.Exit(1)
    }
}