noGCMap 用于解决千万级MAP GC耗时过长问题(无hash冲突问题,对比fastcache bigcache等)

yudeguang · · 570 次点击 · 开始浏览    置顶

noGCMap https://github.com/yudeguang/noGcMap 与 https://github.com/yudeguang/noGcStaticMap 为同一系列的无GC类型MAP,两者针对的场景有一定差异,noGcStaticMap性能稍高,内存占用更小,但不支持增删改。 与fastcache bigcache等相比,无hash冲突问题,并且对键值对增长无限制,不会删除老旧键值对。 对于大型map,比如总数达到千万级别的map,如果键或者值中包含引用类型(string类型,结构体类型,或者任何基本类型+指针的定义 *int, *float 等),那么这个map在垃圾回收的时候就会非常慢,GC的周期回收时间可以达到秒级甚至分钟级。 对此参考fastcache等,把复杂的不利于GC的复杂map转化为基础类型的map map[uint64]uint32 用于存储索引 和 []byte用于存储实际键值。如此改造之后,基本上实现了零GC,总体而言: 优点: 1)几乎零GC; 2)无hash碰撞问题; 3)支持增删改( 相比 https://github.com/yudeguang/noGcStaticMap ); 4)代码量非常少,适合根据自己需求做二次修改; 缺点: 1)性能比 https://github.com/yudeguang/noGcStaticMap 稍差,内存占用稍高; ```go package main import ( "github.com/yudeguang/noGcMap" "log" ) func main() { log.SetFlags(log.Lshortfile | log.Ltime) m := noGCMap.New() m.SetString("1", "1原始") log.Println(m.GetString("1")) m.DeleteString("1") log.Println(m.GetString("1")) m.SetString("1","1修改") log.Println(m.GetString("1")) m.SetString("1","1修改2") log.Println(m.GetString("1")) } ```

有疑问加站长微信联系(非本文作者)

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

570 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传