【译】在BigCache缓存中存储空接口

LucusXu · · 780 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

 

前言

断断续续用Golang开发项目已经有1年时间了,一直还没有做到精通。近期关于自己的职业生涯有一些思考,首要任务就是要有精通的领域。结合工作需要,还有自己的兴趣爱好,所以选择首先从Golang下手,先从翻译Golang文档开始吧。

原文地址:

Storing Empty Interfaces in BigCache

https://dev.to/calebschoepp/storing-empty-interfaces-in-bigcache-1b33

译文

本文也发表在我的个人博客

博客

https://calebschoepp.com/blog

在近期的工作中,我被安排给我们的一个Golang服务加缓存。这个特殊的服务的功能是给新来的请求提供一个接口鉴权用的键。所以对于每一个请求,即使使用相同的键,这个服务也产生了一次额外的数据库请求来验证键的合法性。这可不太妙。实现这个缓存最后比我刚开始预想的要更困难。

在做了一些调研和工程师们的详细的讨论后,我们得出了BigCache(大缓存)最适合我们的需要的结论。

这是个陷阱。在BigCache中的set方法的格式是Set(key string, entry []byte) error。这个方法希望使用者存储一个字节切片。不过,我们想要存储的是一个用多个字段来表示API接口键的结构体。这一次我们可以只存储实际的键的字节。但是这只不过是延迟解决这个问题而已。我们需要像其他Golang缓存实现的定义,Set(key, entry interface{})。这样我们就可以存储我们想存的任何类型了。

这个问题最明显的解决方案是序列化。如果我们能把一个实体结构体序列化成一个字节切片,那么我们就可以存储任何东西了。如果我们想使用我们存储的结构体元素,我们可以从缓存中获取字节切片,然后反序列化。序列化结构体既重要又简单,在Golang中有一些可用的编码库供使用。不过,现在让人头疼的问题来了。当我们反序列化字节时,语言本身如何才能知道结构体有哪些字段,并且如何把对应的数据填充进去呢?最后发现了encoding/gob, 这是Golang 特有的序列化库,就有这个能力。

强烈推荐你去阅读Rob Pike发表的一篇讨论Gob的博客;那是一个很好的文章。简单来说,Gob是Go语言原生的序列化数据方法,此外他也有序列化接口类型的能力。为了实现这个功能,你需要在序列化你的类型前,用一个合适的命名注册函数来注册你的类型。最后我被卡在这了,因为我发现任何register()的代码示例,都会注册一个具体的结构体或者接口标识;我需要他能注册一个任意的接口类型。尽管有一些混乱,但是我发现在Go语言的原生中也可以实现。

// 大部分代码示例这样做
type foo struct {
   bar string
}

gob.register(foo{})

// 我需要的并且发现可行
var type interface{} // 可以是任何类型
gob.register(type)

全部合到一起

由于存储任意的结构体成字节的问题解决了,接下来我就展示我怎么把它们放到一起的。首先我们想要一个缓存使用的接口,系统中其他部分可以相互作用。对于一个简单的缓存系统,我们不需要比get和set更多的方法了。

type Cache interface {
   Set(key, value interface{}) error
   Get(key interface{}) (interface{}, error)
}

现在我们来定义BigCache的实现,兑现上面的接口设计。首先我们需要一个结构体承载缓存的数据,并且给它配备对应的方法。你也可以在结构体里加入其他的东西,比如一些指标。

type bigCache struct {
   cache *bigcache.BigCache
}

接下来是get和set方法的实现。两个方法都断言键key是字符串类型。这里,get和set方法是互相对照的。一个是序列化数据并且存储数据。另一个是读取数据并且反序列化。

func (c *bigCache) Set(key, value interface{}) error {
   // 断言key属于字符串类型
   keyString, ok := key.(string)
   if !ok {
      return errors.New("a cache key must be a string")
   }

   // 序列化value成字节
   valueBytes, err := serialize(value)
   if err != nil {
      return err
   }

   return c.cache.Set(keyString, valueBytes)
}

func (c *bigCache) Get(key interface{}) (interface{}, error) {
   // 断言key属于字符串类型
   keyString, ok := key.(string)
   if !ok {
      return nil, errors.New("a cache key must be a string")
   }

   // 读取被存在字节序列里的value
   valueBytes, err := c.cache.Get(keyString)
   if err != nil {
      return nil, err
   }

   // 反序列化字节切片里的value
   value, err := deserialize(valueBytes)
   if err != nil {
      return nil, err
   }

   return value, nil
}

最后encoding/gob序列化逻辑。在使用register()之外,在Go语言里这是标准的序列化数据方法。

func serialize(value interface{}) ([]byte, error) {
   buf := bytes.Buffer{}
   enc := gob.NewEncoder(&buf)
   gob.Register(value)

   err := enc.Encode(&value)
   if err != nil {
      return nil, err
   }

   return buf.Bytes(), nil
}

func deserialize(valueBytes []byte) (interface{}, error) {
   var value interface{}
   buf := bytes.NewBuffer(valueBytes)
   dec := gob.NewDecoder(buf)

   err := dec.Decode(&value)
   if err != nil {
      return nil, err
   }

   return value, nil
}

并且对应在BigCache里面管理存储的interface{}接口值。现在我团队负责的服务效率更高了一些。漂亮!如果你正在寻找一个更详细的实现,不妨看看我的摘要。

如果你喜欢本文,那么请移步我的博客查看其他内容。

写在后面

文章翻译完了,难度不大,比较好理解。其中有些不是很优雅的地方,欢迎大佬们指点。也欢迎喜欢技术的朋友关注我的公众号『野狐』,交流技术,交流生活与人生感悟。

 


有疑问加站长微信联系(非本文作者)

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

780 次点击  ∙  1 赞  
加入收藏 微博
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传