Linux网络流量分析工具实现

Xiao_Yang · · 2440 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

最近开展运维项目的需求须对业务服务器内部之间访问关系进行梳理(可用于后续的访问策略控制),以及对于服务器网络连接统计(便于后续问题处理时的调试以及历史回溯)。初期想法设计是使用现有linux工具如iftop进行整合开发与集成,但这样对于运维整合和可控性太差,主要考虑如下:

  • 目前开源的工具iftop/nethogs等基本上都是命令式展示,未提供API方式或web方式整合。
  • 如果我只需要查看TCP连接,如同netstat,无法控制开启/关闭抓包统计功能以便释放抓包分析所带来的资源损耗。
  • Golang源码实现工具的没有找到,基本上都为C实现。

后查了一下网络上相关工具的实现原理与源码,整理自己的思路,于是决定自己开发实现(使用golang开发)

基础实现思路

    分析系统/proc/net/tcp的tcp链接信息(local/remote/uid/inode),通过
inode查找PID(/proc/PID/fd下socket对应inode号),通过uid查找对应用
户名(/etc/passwd记录),通过pid查找进程执行文件信息(/pro/PID/exe),
此时通过/proc下的各信息统计与分析完"pid/username/local/remote/program File”。
对于TCP连接流程的实时统计则通过libpcap抓包库进行抓包分析与统计,其对应索
引为“local:port-remote:port”。最后将实现输出显示Console和webUI展示输出。
webUI实现实时数据同步显示可通过websocket技术来实现。

Linux网络分析工具设计

libnetgo1.jpg

抓包分析与流量统计逻辑

netlibgo2.jpg
流量统计: 使用大MAP对每一个item项进行统计, item内包含一直
在累计的in/out值,上一次统计时间(lastAccTime)上一次统计值(lastAccIn/lastAccOut)。有了这些信息数据则可以创建一个goroutine
来间隔性计算:
差值(累计in/out总值 - 上一次统计值) / 时间差(当前时间 - 上一次统计时间) = 速率 

最后实现工具的显示效果

console端
webui端

源码地址:
https://github.com/gotoolkits/libnetgo


有疑问加站长微信联系(非本文作者)

本文来自:简书

感谢作者:Xiao_Yang

查看原文:Linux网络流量分析工具实现

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

2440 次点击  
加入收藏 微博
上一篇:运维工程师
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传