 *本篇文章讨论实现原理基于 Go 1.13.* 在垃圾回收机制 (GC) 中，"Stop the World" (STW) 是一个重要阶段。 顾名思义， 在 "Stop the World" 阶段， 当前运行的所有程序将被暂停， 扫描内存的 root 节点和添加写屏障 (wri...阅读全文
常见的垃圾回收方法: 引用计数：对每个对象维护一个引用计数，当引用该对象的对象被销毁时，引用计数减1，当引用计数器为0是回收该对象。 优点：对象可以很快的被回收，不会出现内存耗尽或达到某个阀值时才回收。 缺点：不能很好的处理循环引用，而且实时维护引用计数，有也一定的代价。 代表语言：Python、PHP 标记-清除：从根变量开始遍历所有引用的对象，引用的对象标记为"被引用"，没有被标记的进行回收。 优点：解决了引用计数的缺点。 缺点：需要STW，即要暂时停掉程序运行。 代表语言：Golang(其采用三色标记法) 分代收集：按照对象生命周期长短划分不同的代空间，生命周期长的放入老年代，而短的放入新生代，不同代有不能的回收算法和回收频率。 优点：回收性能好 缺点：实现复杂 代表语言： JAVA ...阅读全文
文链接: Go: How Does Go Stop the World? : Author : Vincent Blanchon 本文基于 go 1.13 在垃圾回收算法中，Stop The Word（STW）是一个很重要的概念，他会中断程序运行，添加写屏障，以便扫描内存 ,现在一起来看看它内部的原理以及可能存在的问题 STW 停止程序运行意味着停止所有运行态的goroutines,一个简单的例子: func main() { runtime.GC() } 运行垃圾回收算法将触发两个阶段的STW 有关垃圾回收的更多细节，请参考同作者的另外一篇文章_“_Go: How Does the Garbage Collector Mark the Memory? STW的步骤 第一步，抢占所有正在运行...阅读全文
本文主要介绍了垃圾回收的概念，Golang GC的垃圾回收算法和工作原理，看完本文可以让你对Golang垃圾回收机制有个全面的理解。由于本人不了解其他语言的GC，并未对比其他语言的垃圾回收算法，需要的可以自行Google。 什么是垃圾回收 垃圾回收（英语：Garbage Collection，缩写为GC），在计算机科学中是一种自动的存储器管理机制。当一个计算机上的动态存储器不再需要时，就应该予以释放，以让出存储器，这种存储器资源管理，称为垃圾回收。垃圾回收器可以让程序员减轻许多负担，也减少程序员犯错的机会。来自维基百科 简单地说，垃圾回收(GC)是在后台运行一个守护线程，它的作用是在监控各个对象的状态，识别并且丢弃不再使用的对象来释放和重用资源。 go的垃圾回收 当前Golang使用的垃圾回...阅读全文
今天我在看 Prashant Varanasi 的 Go 发布会演讲：[使用火焰图进行生产分析](https://www.youtube.com/watch?v=aAhNDgEZj_U)(Analyzing production using Flamegraphs)，在演讲开始的第 28 分钟他提到了一种涉及切片的有趣且棘手的内存泄漏。为了自我提升，我将在这里写一下该内存泄漏的一种形式，并说明它是如何发生的。 首先，对于像 Go 这样的垃圾收集语言来说，**内存泄漏是保留了对对象的非预期引用所造成的**。垃圾收集器会帮你寻找并释放对象，但前提是它们事实上并没有被使用。如果你保留了对它们的引用，它们会留下来。 有时最终结果很简单（也行你故意保留一个较小的结构，但没意识到它引用了一个较大的结构）...阅读全文
自公众号“灰子学技术”，原文链接：https://mp.weixin.qq.com/s/SFJoSSbvv3KyYKz4osUnFw三色标记法介绍：三色标记法(tricolor mark-and-sweep algorithm)是传统 Mark-Sweep 的一个改进，它是一个并发的 GC 算法，在Golang中被用作垃圾回收的算法，但是也会有一个缺陷，可能程序中的垃圾产生的速度会大于垃圾收集的速度，这样会导致程序中的垃圾越来越多无法被收集掉。原理如下所示：step 1: 创建：白、灰、黑 三个集合。step 2: 将所有对象放入白色集合中。step 3: 从根节点开始遍历所有对象，把遍历到的对象从白色集合放入灰色集合(备注：这里放入灰色集合的都是根节点的对象)。step 4: 遍历灰色集合...阅读全文
自公众号“灰子学技术”，原文链接：https://mp.weixin.qq.com/s/SFJoSSbvv3KyYKz4osUnFw三色标记法介绍：三色标记法(tricolor mark-and-sweep algorithm)是传统 Mark-Sweep 的一个改进，它是一个并发的 GC 算法，在Golang中被用作垃圾回收的算法，但是也会有一个缺陷，可能程序中的垃圾产生的速度会大于垃圾收集的速度，这样会导致程序中的垃圾越来越多无法被收集掉。原理如下所示：step 1: 创建：白、灰、黑 三个集合。step 2: 将所有对象放入白色集合中。step 3: 从根节点开始遍历所有对象，把遍历到的对象从白色集合放入灰色集合(备注：这里放入灰色集合的都是根节点的对象)。step 4: 遍历灰色集合...阅读全文
Go 有两样东西或多或少是无类型指针的表示：uintptr 和 unsafe.Pointer （和外表相反，它们是内置类型）。 从表面上看这有点奇怪，因为 unsafe.Pointer 和 uintptr 可以彼此来回转换。为什么不只有一种指针表现形式？两者之间有什么区别？ 表面的区别是可以对 uintptr 进行算数运算但不能对 unsafe.Pointer（或任何其他 Go 指针）进行运算。unsafe 包的文档指出了重要的区别： > uintptr 是整数，不是引用。将 Pointer 转换为 uintptr 会创建一个没有指针语义的整数值。即使 uintptr 持有某个对象的地址，如果对象移动，垃圾收集器并不会更新 uintptr 的值，uintptr 也无法阻止该对象被回收。 尽管...阅读全文
这篇文章基于 Go-1.12 版本 Go runtime 提供了一种允许开发者将一个函数与一个变量绑定的方法 `runtime.SetFinalizer`，被绑定的变量从它无法被访问时就被垃圾回收器视为待回收状态。这个特性引起了高度的争论，但本文并不打算参与其中，而是去阐述这个方法的具体实现。 ## 无保障性 举一个使用了 Finalizer 的例子 ```go package main import ( "fmt" "math/rand" "runtime" "strconv" "time" ) type Foo struct { a int } func main() { for i := 0; i < 3; i++ { f := NewFoo(i) println(f.a) } run...阅读全文
## 前言 这是三篇系列文章中的第三篇。该系列文章提供了一种对 Go 垃圾回收背后的机制和概念的理解。本篇的主要内容是 GC 如何控制自己的步调。 三篇文章的索引：
1）[Go 垃圾回收：第一部分 - 概念](https://www.ardanlabs.com/blog/2018/12/garbage-collection-in-go-part1-semantics.html)
2）[Go 垃圾回收：第二部分 - GC 追踪](https://www.ardanlabs.com/blog/2019/05/garbage-collection-in-go-part2-gctraces.html)
3）[Go 垃圾回收：第三部分 - GC 的步调](https://www...阅读全文
文地址：用 GODEBUG 看 GC 什么是 GC 在计算机科学中，垃圾回收（GC）是一种自动管理内存的机制，垃圾回收器会去尝试回收程序不再使用的对象及其占用的内存。而最早 John McCarthy 在 1959 年左右发明了垃圾回收，以简化 Lisp 中的手动内存管理的机制（来自 wikipedia）。 为什么要 GC 手动管理内存挺麻烦，管错或者管漏内存也很糟糕，将会直接导致程序不稳定（持续泄露）甚至直接崩溃。 GC 带来的问题 硬要说会带来什么问题的话，也就数大家最关注的 Stop The World（STW），STW 代指在执行某个垃圾回收算法的某个阶段时，需要将整个应用程序暂停去处理 GC 相关的工作事项。例如： 行为 会不会 STW 为什么 标记开始 会 在开始标记时，准备根对...阅读全文
 在 [Hacker News](https://news.ycombinator.com/item?id=13218550) 和 [Reddit](https://www.reddit.com/r/golang/comments/5j7phw/modern_garbage_collection/) 你可以找到相关讨论 我最近看过很多文章，它们以令我困扰的方式推广 Go 语言最新的垃圾收集器。其中一些文章来自 Go 官方项目本身。他们声称这意味着 GC 技术已经有根本性的突破。 [这是...阅读全文
本文主要介绍了垃圾回收的概念，Golang GC的垃圾回收算法和工作原理，看完本文可以让你对Golang垃圾回收机制有个全面的理解。由于本人不了解其他语言的GC，并未对比其他语言的垃圾回收算法，需要的可以自行Google。 什么是垃圾回收 垃圾回收（英语：Garbage Collection，缩写为GC），在计算机科学中是一种自动的存储器管理机制。当一个计算机上的动态存储器不再需要时，就应该予以释放，以让出存储器，这种存储器资源管理，称为垃圾回收。垃圾回收器可以让程序员减轻许多负担，也减少程序员犯错的机会。来自维基百科) 简单地说，垃圾回收(GC)是在后台运行一个守护线程，它的作用是在监控各个对象的状态，识别并且丢弃不再使用的对象来释放和重用资源。 go的垃圾回收 当前Golang使用的垃圾...阅读全文
文：medium.com/a-journey-w… 本文基于Go 1.13 Go的垃圾回收器负责将那些不会再使用的被占用的内存进行回收。实现的算法是并发的三色标记法以及扫描收集器。我们会看一下标记阶段的细节以及不同颜色的使用。 你可以在这篇文章中阅读到不同类型的垃圾回收机制。 标记阶段 这个阶段主要是扫描内存来确认哪一些内存块是仍然被使用，在哪一些内存块是可以被回收的。 然而，由于垃圾回收跟我们的Go程序是并发运行的，所以需要有个方法在扫描进行的同时监测内存的变化。为了解决这个问题，这里会用到写屏障算法并允许Go去跟踪任何一个指针的变化。实现写屏障唯一途径是将程序暂时停止一小段时间，我们称为“全世界静止” (Stop the World)。 在程序运行的开始阶段，每一个processor都有...阅读全文
文：medium.com/a-journey-w… 本文基于Go 1.13 Go的垃圾回收器旨在帮助开发者自动清理应用程序的内存。然而每次跟踪内存并清理都会影响程序运行的性能。Go的垃圾回收器旨在清理内存的同时也关注性能，主要是以下几个指标： 当程序暂停的时的两阶段尽可能减少 （这句我也不太知道怎么翻） 一次垃圾回收的周期少于10ms 一次垃圾回收操作不能占用超过25%的CPU 这看上去是一个很难实现的目标，本篇文章就是介绍Go是如何完成这些目标的。 堆阈值 Heap Threshold Reached 垃圾回收器关注的第一个指标就是堆的增长。默认情况下，当堆的大小变成原来的两倍的时候，垃圾回收器会被启动。这里有个例子，在循环里面不断分配内存 func BenchmarkAllocation...阅读全文
1. 对象存活判断 1.1. 引用计数算法 Reference Counting 给对象添加一个引用计数器，每当有一个地方引用它的时候，计数器值就加一；当引用失效时，计数器值就减一；任何时刻计数器为0的对象就是不可能再被使用的。 主流的JVM没有选用引用计数算法来管理内存，主要的原因是它很难解决对象之间的相互循环引用的问题。 1.2. 可达性分析算法 Reachability Analysis 通过一系列称为“GC-Roots”的对象作为起点，从这些结点开始向下搜索，搜索所走过的路径称为引用链（Reference Chain），当一个对象到GC Roots没有任何引用链相连时，则证明此对象是不可用的（图论中的不可达）。 可作为GC Roots的对象： 虚拟机栈（战争中的本地变量表）中引用的对...阅读全文
1. Golang GC 发展 Golang 从第一个版本以来，GC 一直是大家诟病最多的。但是每一个版本的发布基本都伴随着 GC 的改进。下面列出一些比较重要的改动。 v1.1 STW v1.3 Mark STW, Sweep 并行 v1.5 三色标记法 v1.8 hybrid write barrier 2. GC 算法简介 这一小节介绍三种经典的 GC 算法： 引用计数（reference counting） 标记-清扫（mark & sweep） 节点复制（Copying Garbage Collection） 分代收集（Generational Garbage Collection） 3. 引用计数 引用计数的思想非常简单：每个单元维护一个域，保存其它单元指向它的引用数量（类似有向...阅读全文
kubernetes版本：1.13.2 背景 由于operator创建的redis集群，在kubernetes apiserver重启后，redis集群被异常删除（包括redis exporter statefulset、redis statefulset）。删除后operator将其重建，重新组建集群，实例IP发生变更（中间件容器化，我们开发了固定IP，当statefulset删除后，IP会被回收），导致创建集群失败，最终集群不可用。 经多次复现，apiserver重启后，通过查询redis operator日志，并没有发现主动去删除redis集群（redis statefulset）、监控实例（redis exporter）。进一步去查看kube-controller-manager的日...阅读全文
Golang: 思路：还没从33题的阴影中恢复过来，就写了这题。正确思路是，二分求左边界，二分求右边界。我是二分找到点，然后分别向左右两边扩散。效率很低，很垃圾。状态不好不建议做题。 代码如下： func searchRange(nums []int, target int) []int { if len(nums)==0 { return []int{-1,-1} } res:=binarySearch2(nums,target,0,len(nums)-1) if res==-1{ return []int{-1,-1} }else{ i,j:=res,res for i>=0&&nums[i]==target{ i-- } for j<=len(nums)-1&&nums[j]==tar...阅读全文
