使用golang反向代理统计api访问次数

wx5e1abbbb0a5e5 · · 921 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

前言

今天写点有趣的小东西。事情是这样的,我经常看到有些软件加了统计数据的sdk,之后就可以实现统计接口的访问量,接口负载等等数据。而这些功能不需要原有的软件做些什么,对原来的业务完全无***,我觉得这样的功能很有实用性,所以没有参考其他类似的软件或者工具,我想自己试试怎么实现这样的功能。

思路

首先,我们先给要做的工具起个名字,就叫monitor。要实现无侵入,那么只能是在业务软件外面套一层,经由业务软件的流量,都需要经过monitor这一层,这让人很容易得想到了网关的功能也是类似的。恰好,golang实现反向代理十分简单。所以,思路就有了。先实现一个反向代理,将经由业务的流量都由monitor反向代理给业务软件。接着,将访问的api放进通道中,对api进行分类,就可以统计api的访问量了。在这篇文章中,我还会用一个golang的图形库,这个库很酷,可以在终端图形化地展示我们的数据统计。

实现反向代理

func NewMultipleHostsReverseProxy(target url.URL) *httputil.ReverseProxy {
    director := func(req *http.Request) {
        req.URL.Scheme = target.Scheme
        req.URL.Host = target.Host
        req.URL.Path = target.Path
        go func() {
            ch <- req.RequestURI
        }()
    }
    return &httputil.ReverseProxy{Director: director}
}

func Proxy() {
    InitData()
    target := url.URL{
        Scheme: "http",
        Host:   ":9091",
    }
    proxy := NewMultipleHostsReverseProxy(target)
    log.Fatal(http.ListenAndServe(":9090", proxy))

}

var ch chan string
var labels map[string]float64

func InitData() {
    ch = make(chan string) //api通道,每访问一个api,就将api路径放至此通道
    labels = make(map[string]float64) //api访问次数存储的地方
}

我们先构造一个proxy类型为*httputil.ReverseProxy,这个proxy的req会向目标地址访问,也就是我们要代理的目标访问。这段代码中,我们用9090反向代理了9091端口,也就是说,访问9091的流量会经过9090,这样我们就可以在这之间收集我们要的数据。我将req.RequestURI放进了一个channel中来实现统计。

    //更新访问数据
    go func() {
        for {
            select {
            case label := <-ch:
                _, has := labels[label]
                if has {
                    labels[label]++
                } else {
                    labels[label] = 1
                }
            }
        }
    }()

渲染数据

我还想要把统计的数据用图形化的方式展现出来。我用了github.com/gizak/termui,一个很棒的图形库。
首先初始化界面参数。

    //初始化图形数据
    bc := widgets.NewBarChart()
    bc.Title = "api访问量"
    bc.SetRect(5, 5, 100, 25)
    bc.BarWidth = 5
    bc.BarColors = []ui.Color{ui.ColorRed, ui.ColorGreen}
    bc.LabelStyles = []ui.Style{ui.NewStyle(ui.ColorBlue)}
    bc.NumStyles = []ui.Style{ui.NewStyle(ui.ColorYellow)}

接着,写一个定时器,每秒钟刷新数据,并渲染图形。

uiEvents := ui.PollEvents()
    ticker := time.NewTicker(time.Second).C
    for {
        select {
        case e := <-uiEvents: //退出事件
            switch e.ID {
            case "q", "<C-c>":
                return
            }
        case <-ticker: //定时事件
            l := []string{}
            data := []float64{}
            for k, v := range labels {
                l = append(l, k)
                data = append(data, v)
            }
            if len(l) <= 0 {
                l = []string{"/"}
                data = []float64{1}
            }
            bc.Labels = l
            bc.Data = data
            ui.Render(bc)
        }
    }

测试

先写个监听9091端口的test,并运行起来。

func TestProxy(t *testing.T) {
    http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) {
        w.Write([]byte("hello 9091"))
    })
    log.Fatal(http.ListenAndServe(":9091", nil))
}

启动monitor,并访问9090端口。

postman.png

访问多几个不同的api,之后查看monitor界面。

monitor.png

总结

使用golang的反向代理可以简单地实现api统计的功能,并且在此基础上可以有其他的扩展,可以统计api负载情况,可以统计访问频率等等数据,在图形化界面上也可以展示更多聚合数据。完整代码可见:https://github.com/TomatoMr/monitor


欢迎关注我的公众号:onepunchgo,给我留言。

image


有疑问加站长微信联系(非本文作者)

本文来自:51CTO博客

感谢作者:wx5e1abbbb0a5e5

查看原文:使用golang反向代理统计api访问次数

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

921 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传