Go:基于Context API实现分布式请求日志记录

汪明军_3145 · · 1143 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

【译文】原文地址
如今随着微服务架构的普及,它也成为构建服务端应用的首选方式。过去记录日志只需要将日志类注入主类里面就这么简单,请求跟踪可以通过在请求过程中产生一个唯一id并添加到日志里面即可。在微服务架构当中,还是可以使用这种方法。然而,这种方式会导致在不同的微服务中日志的不连贯。本文使用Go给出一个简单的HTTP pipeline,并在所有的服务中都共享请求id。

要实现系统级的日志连贯,我们在微服务中必须共享标志符。在HTTP APIs场景下,可以通过请求头来传输标志符。这种实现方式,我们无需修改请求body体或请求参数,这些都是包含业务数据的-可以屏蔽业务逻辑。为了将标志符放在请求头,需要在与其他微服务通信时,在代码任意位置都能访问到该标志符。

context

在Golang中,在不同方法中传输上下文相关的数据,Context API是推荐的方式。上下文相关数据指的是任何不包含主业务逻辑中的数据。例如,文章数目是主业务逻辑相关的,而调用者IP地址是不相关的(依赖业务场景)。上下文(context)是不可变结构体,可以通过克隆当前上下文key-value键值对来扩展并创建一个新的上下文。每个http.Request都带有上下文信息,并可以扩张更多数据信息到上下文中。

任何发起API请求的方法都需要传入context上下文信息。通常,context是函数的第一个参数,并命名为ctx,如下所示:

func DoCall(ctx context.Context, url string) error {
  ...
}

HTTP pipeline

为了将请求id存在上下文中,我们创建一个HTTP handler来接收所有请求。这在Golang中很简单,如下所示。UseRequestId函数捕获来自HTTP请求头ReqIdHeaderName的请求id,并将其存入context上下文中。如果没有请求id,我们创建一个新的请求id。这个处理过程会在每个请求到来时发生。

func UseRequestId(next http.HandlerFunc) http.HandlerFunc {
   fn := func(w http.ResponseWriter, r *http.Request) {
      var reqId string
      if reqId = r.Header.Get(ReqIdHeaderName); reqId == "" {
         // first occurrence
         reqId = uuid.New().String()
      }
      // clone current context and append request-id
      ctx := r.Context()
      ctx = context.WithValue(ctx, ReqIdKey, reqId)

      next.ServeHTTP(w, r.WithContext(ctx))
   }

   return fn
}

要拿到请求id,我们可以创建两个简单的函数。这些函数不是必要的,但是可以使访问当前请求id更简单。

func GetReqIdReq(r *http.Request) string {
   return GetReqIdCtx(r.Context())
}

func GetReqIdCtx(ctx context.Context) string {
   reqId := ctx.Value(ReqIdKey).(string)
   return reqId
}

使用这个中间件,我们只要将实际的处理函数封装下即可:

http.HandleFunc("/users", UseRequestId(handler.GetUsers))

现在我们可以获取到请求id,并可以将它添加到我们服务发起的任何请求头当中去。

func DoCall(ctx context.Context, url string) error {
    ...
    reqId := httpcontext.GetReqIdCtx(ctx)
    if reqId != "" {
       req.Header.Add(httpcontext.ReqIdHeaderName, reqId)
    }
}

与其他微服务的每个HTTP通信,都将包含请求id。只要其他微服务也实现了UseRequestId函数,就可以自动拿到上下文当中的请求id并重复使用。

logger

最后需要说下logger。对于日志的记录,我们使用logrus模块,当然你也可以使用其他日志模块。Logrus可以添加日志属性。属性是key-value键值对,用于在日志中提供额外信息。

我们在创建一个HTTP中间件,将logger添加到请求上下文中去。该中间件检查请求上下文中是否有请求id,并将请求id添加到logger的属性当中。然后将logger附加到请求上下文上。

func UseLogger(next http.HandlerFunc) http.HandlerFunc {
   fn := func(w http.ResponseWriter, r *http.Request) {
      ctx := r.Context()
      if reqId := GetReqIdCtx(ctx); reqId == nil {
         // panics
         logrus.Fatal("No request id associated with request")
      } else {
         log := logrus.WithField(httpcontext.ReqIdKey, reqId)
         ctx = context.WithValue(ctx, LoggerKey, log)
      }

      next.ServeHTTP(w, r.WithContext(ctx))
   }

   return fn
}

同样创建两个函数来获取上下文中的logger对象。

func GetLogReq(r *http.Request) *logrus.Entry {
   return GetLogCtx(r.Context())
}

func GetLogCtx(ctx context.Context) *logrus.Entry {
   log := ctx.Value(LoggerKey)

   if log == nil {
      logrus.Fatal("Logger is missing in the context") // panics
   }

   return log.(*logrus.Entry)
}

UseLogger中间件必须在UseRequestId中间件后面,因为要先捕获请求id。新的HTTP流水线变为:

http.HandleFunc("/users", UseRequestId(UseLogger(handler.GetUsers))
harbour.rock微服务架构图,所有的请求都可以跟踪

总结

本文提出了一种分布式日志策略,它支持在不同的微服务之间跟踪请求。每个传入的请求都可以跨各个服务的边界进行跟踪。

我们在harbour.rocks中使用完全相同的日志策略,可以访问gitbub地址


有疑问加站长微信联系(非本文作者)

本文来自:简书

感谢作者:汪明军_3145

查看原文:Go:基于Context API实现分布式请求日志记录

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

1143 次点击  
加入收藏 微博
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传