双向链表与LRU缓存淘汰机制

薛薛薛 · · 782 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

双向链表

双向链表作为在日常开发中最常用的数据结构之一,应用十分广泛,在诸多著名开源项目中如redis的list结构, groupcache的lru中均是核心实现。在设计此类数据集合的时候,外面看上去链表似乎与数组相似,但链表是一个非连续性内存的存储方案,提供了高效的节点重排能力与顺序访问方式,对比与操作数组,只需知道给定项的地址和位置的链接就能在内存中找到它,并且可以通过增减节点的方式来灵活的调整长度。反而数组,比如插入一个新的元素,那么该位置后的元素都要往后移动一位。

标准的双向链表实现

redis 中的双向链表
golang 中的双向链表

其结构如图
clipboard.png

在双向链表中头结点的前指针为空,尾节点的后指针为空, 对头尾的操作十分简单, 插入头节点只需要将新节点的next设置为当前链表的头节点, 当前列表的prev为新节点, 并与之交换位置即可, 插入尾部反之
clipboard.png

在节点中间按游标插入的话则需要考虑正向反向的问题, 下图当i 为正数表示正向插入,负数反向插入, 其实不管是只操作头尾节点还是中间节点,其核心就是交换当前节点与前一个和后一个节点之间的链接
clipboard.png

将某个节点移动至头部跟插入头部动作多了一步交换当前节点前后节点链接的操作
clipboard.png

而删除某个节点就只需要将其前后节点的链接互相相连,使其不被引用,它会自动被回收掉
clipboard.png

LRU

LRU全称Least Recently Used, 直译为“最近最少使用”, 其对于内存管理方面十分有效,比如容量只有十的一个集合,当写入第十一条数据时候,最少使用的那个数据将会被淘汰,故此方法很适用于对有给定容量限制的热数据做缓存管理

在开源项目groupcache中, 缓存的过期没有设置过期时间而是依赖于LRU淘汰机制,那么其用来实现LRU的核心就是一个双向链表, 为了保证效率, 缓存数据被保存在一个Map中使每次缓存的存取时间复杂度为O(1), 而双向链表则负责管理内存的容量以及实现淘汰机制
clipboard.png

在写入新的缓存项时,会把其插入至链表的头部, 并且判断如果当前链表长度大于给定长度时,删除链表尾部的元素,同时删除其在map中的key
clipboard.png

每当有访问命中缓存时, 会将命中的缓存移至链表头部
clipboard.png

上述插入和命中时将其放到链表头部的策略,使得链表尾部的元素永远是使用得最少的那个缓存,故新缓存进来时就将其淘汰。

本文说明了双向链表的实现以及其实际应用,但是在真实应用中,golang 的双向链表是非线程安全的,如遇到并发情况操作链表则会因为找不到地址而报错, 所以groupcache项目在从LRU策略中获取缓存的时候,在外部包了一个带读写锁的结构体来保证其并发安全

clipboard.png


有疑问加站长微信联系(非本文作者)

本文来自:Segmentfault

感谢作者:薛薛薛

查看原文:双向链表与LRU缓存淘汰机制

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

782 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传