问题闭包 是由函数及其相关引用环境组合而成的实体(即：闭包=函数+引用环境)。“官方”的解释是：所谓“闭包”，指的是一个拥有许多变量和绑定了这些变量的环境的表达式（通常是一个函数），因而这些变量也是该表达式的一部分。比如下面“斐波那契数列”闭包：func fib() func() int { a, b := 0, 1 return func() int { a, b = b, a+b return a } } 调用如下 f00 := fib() fmt.Println(f00(), f00(), f00(), f00(), f00()) 输出结果是：1 1 2 3 5 golang里是如何做到这种闭包管理的呢？闭包实现我们先对闭包分3种场景：闭包里没有引用环境（变量生命周期很短，调用完即释放...阅读全文
笔记 - unsafe Package unsafe contains operations that step around the type safety of Go programs. Packages that import unsafe may be non-portable and are not protected by the Go 1 compatibility guidelines. unsafe 库让 golang 可以像C语言一样操作计算机内存，但这并不是golang推荐使用的，能不用尽量不用，就像它的名字所表达的一样，它绕过了golang的内存安全原则，是不安全的，容易使你的程序出现莫名其妙的问题，不利于程序的扩展与维护。 unsafe.Sizeof Sizeof ...阅读全文
基础知识结构 命名 声明 变量 赋值 类型 包和文件 作用域 命名 命名规则：一个名字必须以一个字母（unicode字母）或者下划线开头，后面可以跟任意数量的字母数字或者下划线。区分大小写。 go的25个关键字如下： break ; default; func ; interface ;select ; case ; defer ; go ; map ; struct ; chan; else ; goto ; package ;switch ; const ; fallthrough ; if ; range ; type ; continue ; for ; import ; return ; var ; 内建常量与内建函数如下 常量：true ; false ; iota ; nil ...阅读全文
摘要： 简单的拉链表设计 **背景信息：** 在数据仓库的数据模型设计过程中，经常会遇到这样的需求： 数据量比较大; 表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态、手机号码等等; 需要查看某一个时间点或者时间段的历史快照信息。（比如，查看某一个订单在历史某一个时间点的状态，比如，查看某一个用户在过去某一段时间内，更新过几次等等） 变化的比例和频率不是很大，比如，总共有1000万的会员，每天新增和发生变化的有10万左右;如果对这边表每天都保留一份全量，那么每次全量中会保存很多不变的信息，对存储是极大的浪费; 方式来判断接口的具体类型， Sometimes, you may want to know the exact type of an interface variable. In this scenario, you can use type assertion: x.(T) x”的类型必须为interface的变量，“T”表示是推断的类型。例如: x is the variable whose type must be interface, and T is the type which you want to check. For example: package main import "fmt" func printValue(v inte...阅读全文
引言 垃圾回收机制是高级语言常见的一类内存资源管理方式，C/C++这类语言内存分配及回收很大的主动权在调用者，gc机制较弱；像JAVA、PYTHON及后来的GOLANG都添加了GC机制来减少编程人员的内存管理压力。但于此同时也带来了gc效率问题，接下来我们看下常见的GC方式。GC算法 常见GC方式有引用计数（reference counting）、标记-清除（mark & sweep）、节点复制（Copying Garbage Collection），分代收集（Generational Garbage Collection）。 引用计数 引用计数算是在gc算法中最简单，也是最直接的gc算法。引用计数是在对象赋值操作时进行额外的清除操作，赋值时减少右值对象所有域的引用计数，计数为0立即进行垃圾...阅读全文
内存管理 在栈中创建对象比在堆中创建对象性能高，少用new来创建对象，多用object{}创建，如果需要创建大量相同临时对象，使用sync.pool减少gc压力。 原因：因为heap上的变量需要gc，而stack上的自动释放，如果在函数里面创建许多生命周期很短的heap变量，会不断触发gc...阅读全文
很多小伙伴在入门编程时，C语言课程开始的，但最近有的小伙伴问我，学编程一定要从C语言开始吗？直接学习JAVA可以吗？大雄建议：在选择编程语言之前，搞清楚自己的编程目的，有没特别想打磨一个产品出来?比如有些程序员想自己打造一款Java 游戏，所以他选择了java。所以，一定程度上取决于你的编程目的。C语言现在已经很成熟，它的各种语法规则、思想都已经确立起来了，并对现在的很多语言产生很大的影响。所以作为底层语言也是很多人在入门编程时想要第一个学习的。但是任何事物都有其优点和缺点，C语言也不例外。下面大雄带大家分别来看一下。C语言的优点C语言的优点有三个：代码量小运行速度快功能强大我们先看第一个优点，C语言的代码量很小，这是什么意思呢？也就是说如果要完成同样一个功能，用C语言编写出来的程序的容...阅读全文
是宿主机的一个进程，docker是通过namespace实现资源隔离，通过cgroup实现资源限制，通过写时复制技术（copy-on-write）实现了高效的文件操作（类似虚拟机的磁盘比如分配500g并不是实际占用物理磁盘500g） 重要概念 image镜像 docker镜像就是一个只读模板，比如，一个镜像可以包含一个完整的centos，里面仅安装apache或用户的其他应用，镜像可以用来创建docker容器，另外docker提供了一个很简单的机制来创建镜像或者更新现有的镜像，用户甚至可以直接从其他人那里下周一个已经做好的镜像来直接使用 container容器 docker利用容器来运行应用，容器是从镜像创建的运行实例，它可以被启动，开始、停止、删除、每个容器都是互相隔离的，保证安全的平台，...阅读全文
一、 (1)init函数 init 函数可在package main中，可在其他package中，可在同一个package中出现多次。 (2)main函数 main 函数只能在package main中。 (3)执行顺序如下图: golang里面有两个保留的函数：init函数（能够应用于所有的package）和main函数（只能应用于package main）。这两个函数在定义时不能有任何的参数和返回值。 虽然一个package里面可以写任意多个init函数，但这无论是对于可读性还是以后的可维护性来说，我们都强烈建议用户在一个package中每个文件只写一个init函数。 go程序会自动调用init()和main()，所以你不需要在任何地方调用这两个函数。每个package中的init函数都...阅读全文
在 2017年 本年度计算机语言榜这篇中， 我们汇报总结了 2017 年最最火的 TOP 20 计算机语言，全部的语言中，Java、C、C++ 名列前三。Java 凭着可移植性、可扩展性及其庞大的社区性傲视群雄，那麼最原始的 C 和 C++ 为什么依然成活至今？本文的创作者亦发表了自身的观点，他觉得，硬件访问、效率高、跨平台性、持续演进、应用领域广泛等等全是他们风靡迄今不可缺少的关键因素。 下列为译文： C 语言问世于 1972 年（45 年前），而 C ++ 问世于 1985 年。或许有些人会觉得在这般悠长的时间里，像 C、C++ 那样古老的语言早已日薄西山，显然你弄错： 访问硬件 在许多应用程序中浏览硬件是十分关键的，C 和 C ++ 能够或多或少让人完全控制硬件。直接操控硬件的益处有：...阅读全文
goroutine是非常轻量的，不会暂用太多资源，基本上有多少任务，我们可以开多少goroutine去处理。但有时候，我们还是想控制一下。 比如，我们有A、B两类工作，不想把太多资源花费在B类务上，而是花在A类任务上。对于A，我们可以来1个开一个goroutine去处理，对于B，我们可以使用一个协程池，协程池里有5个线程去处理B类任务，这样B消耗的资源就不会太多。 控制使用资源并不是协程池目的，使用协程池是为了更好并发、程序鲁棒性、容错性等。废话少说，快速入门协程池才是这篇文章的目的。 协程池指的是预先分配固定数量的goroutine处理相同的任务，和线程池是类似的，不同点是协程池中处理任务的是协程，线程池中处理任务的是线程。 最简单的协程池模型 上面这个图展示了最简单的协程池的样子。先把协...阅读全文
文: A complete journey with Goroutines 在Golang中如果我们想并发的处理事情，我们使用Goroutines。 但是什么是并发呢？ 这儿有个例子：我正在写这篇文章突然感到口渴 ，我将停止打字然后去喝水，然后我将继续开始打字。现在，我通过时间切片的方式同时处理了2件事情（打字和喝水），这就被说成是并发工作。这里需要指明的是这两件任务（写字和喝水）不是在同一时间被处理的 。如果事情是在同一时间被处理的，那么它们就被叫做并行（例如一边玩你的手机一边吃薯片）。 因此并发是同时处理多件事情（没有必要在相同的时间做...阅读全文
一、 (1)init函数 init 函数可在package main中，可在其他package中，可在同一个package中出现多次。 (2)main函数 main 函数只能在package main中。 (3)执行顺序如下图: golang里面有两个保留的函数：init函数（能够应用于所有的package）和main函数（只能应用于package main）。这两个函数在定义时不能有任何的参数和返回值。 虽然一个package里面可以写任意多个init函数，但这无论是对于可读性还是以后的可维护性来说，我们都强烈建议用户在一个package中每个文件只写一个init函数。 go程序会自动调用init()和main()，所以你不需要在任何地方调用这两个函数。每个package中的init函数都...阅读全文
github地址：https://github.com/bradyjoestar/rustnotes pdf下载链接：https://github.com/bradyjoestar/rustnotes/blob/master/Rust%E8%AF%AD%E8%A8%80%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0.pdf 参考： https://rustcc.gitbooks.io/rustprimer/content/ 《RustPrimer》 https://kaisery.github.io/trpl-zh-cn/ 《Rust程序设计语言-简体中文版》 4.1 面向对象数据结构 4.1.1 元祖 元祖表示一个大小、类型固定的有序数据组。 let y = (2...阅读全文
无论是在早期的负载均衡器中，还是当前微服务基于客户端的负载均衡中，都有一个最基础的轮询算法，即将请求平均分布给多台机器,今天聊聊在此基础上, kube proxy是如何实现亲和性轮询的核心数据结构. 了解亲和性策略实现，失败重试等机制 1. 基础筑基 1.1 Service与Endpoints Service和Endpoint是kubernetes中的概念，其中Service代表一个服务，后面通常会对应一堆pod，因为pod的ip并不是固定的，用Servicel来提供后端一组pod的统一访问入口， 而Endpoints则是一组后端提供相同服务的IP和端口集合在这节内容中大家知道这些就可以来， 1.2 轮询算法 轮询算法可能是最简单的算法了，在go里面大多数实现都是通过一个slice存储当前可...阅读全文
#### 1. 介绍 * 支持预分配协程和用多少申请多少 * 分配的协程都有一个生命周期，生命周期到了会被自动回收 * 协程池最少有一个哨兵协程，最多有 maxWork + 1(哨兵) * 协程池会自己释放, 不需要手动释放 #### 2. 使用 ``` pushPool := lib.NewTaskPool("poolName", 10, lib.WithProGoWorker()) defer pushPool.Close() everyTaskHandleSum := 500 l := 50000 pushIds := []string{xxx} totalPage := mat...阅读全文
[易学易懂系列|rustlang语言|零基础|快速入门|（5）](https://www.cnblogs.com/gyc567/p/11910818.html) Lifetimes 我们继续谈谈生命周期（lifttime），我们还是拿代码来说话： fn main() { let mut a = vec![1, 2, 3]; let b = &mut a; // &mut borrow of `a` starts here // some code println!("{:?}", a); // trying to access `a` as a shared borrow, so giving an error } // &mut borrow of `a` ends here 我们在上篇文...阅读全文
摘要： MaxCompute作为阿里云大数据平台的核心计算组件，承担了集团内外大部分的分布式计算需求。 免费开通大数据服务：https://www.aliyun.com/product/odps **前言** MaxCompute作为阿里云大数据平台的核心计算组件，承担了集团内外大部分的分布式计算需求。而MaxCompute SQL作为分布式数据处理的主要入口，为快速方便处理/存储EB级别的离线数据提供了强有力的支持。 随着大数据业务的不断扩展，新的数据使用场景在不断产生，在这样的背景下，MaxCompute计算框架也在不断的演化，原来主要面对内部特殊格式数据的强大计算能力，也正在一步步的开放给不同的外部数据。 之前我们介绍了怎样[在MaxCompute上处理存储在OSS上...阅读全文
(转载自)https://www.cnblogs.com/diegodu/p/5606937.html 什么是垃圾回收？ 曾几何时,内存管理是程序员开发应用的一大难题。传统的系统级编程语言(主要指C/C++)中,程序员必须对内存小心的进行管理操作,控制内存的申请及释放。稍有不慎,就可能产生内存泄露问题,这种问题不易发现并且难以定位,一直成为困扰开发者的噩梦。如何解决这个头疼的问题呢?过去一般采用两种方法: 内存泄露检测工具。这这种工具的原理一般是静态代码扫描,通过扫描程序检测可能出现内存泄露的代码段。然而检测工具难免有疏漏和不足,只能起到辅助作用。 智能指针。这是C++中引入的自动内存管理方法,通过拥有自动内存管理功能的指针对象来引用对象,使程序员不用太关注内存的释放,而达到内存自动释放...阅读全文
作为当今互联网后端技术栈工程师、无论Golang、Java或者其他系，分布式的理论概念都逐步成为必备理论基础知识之一, 本文主要讨论分布式的CAP理论的推进，这是你走进分布式大门的第一块敲门砖。 提纲: 一、从本地事务到分布式理论 二、ACID理论 三、CAP理论 四、CAP理论“3选2”论证 五、BASE理论 附加:分布式概念 分布式实际上就是单一的本地一体解决方案，在硬件或者资源上不够业务需求，而采取的一种分散式多节点，可以扩容资源的一种解决思路。它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给多个计算机进行处理，最后把这些计算结果综合起来得到最终的结果。 那么在了解分布式之前，我们应该从一体式的构造开始说明。 一、从本地事务到分布式理论 理解第...阅读全文
【CSDN编者按】在 2017年 本年度计算机语言榜这篇中， 我们汇报总结了 2017 年最最火的 TOP 20 计算机语言，全部的语言中，Java、C、C++ 名列前三。Java 凭着可移植性、可扩展性及其庞大的社区性傲视群雄，那麼最原始的 C 和 C++ 为什么依然成活至今？本文的创作者亦发表了自身的观点，他觉得，硬件访问、效率高、跨平台性、持续演进、应用领域广泛等等全是他们风靡迄今不可缺少的关键因素。下列为译文：C 语言问世于 1972 年（45 年前），而 C ++ 问世于 1985 年。或许有些人会觉得在这般悠长的时间里，像 C、C++ 那样古老的语言早已日薄西山，显然你弄错： 1. 访问硬件在许多应用程序中浏览硬件是十分关键的，C 和 C ++ 能够或多或少让人完全控制硬件。直接...阅读全文
摘要： 深度性能测试能协助测试人员发现APP中存在的深层次性能问题，直接定位多项性能问题及瓶颈的根本原因，方便开发者快速提升APP性能表现，使得APP运行得更加稳定。MQC深度性能测试能够帮助开发者发现深层次的性能问题，更精准地定位问题。 功能决定现在，性能决定未来！ 一、 内存泄漏 内存泄漏是指由于代码编写不当导致不再使用的对象无法得到及时释放。内存泄漏产生的内存垃圾不仅浪费资源，拖慢运行效率，甚至还可能造成内存溢出，直接导致应用崩溃。 对于Android应用，比较容易发生泄漏的是Activity、Fragment对象，此类对象的共性是其都有一定的生命周期。以Activity为例，一个Activity实例的生命起始于onCreate()，终结于onDestroy()...阅读全文
其实之前有自学过go的基础，但是时隔蛮久的，然后也没有去经常性的使用，现在重头开始学习啦 声明 声明语句定义了程序的各种实体对象以及部分或全部的属性。Go语言主要有四种类型的声明语句：变量（var）、常量（const）、类型（type）和函数（func）实体对象的声明。一个Go语言编写的程序对应一个或多个以.go为文件后缀名的源文件中。每个源文件编写顺序是 说明该源文件是属于哪个包。 package main 包声明语句之后是import语句导入依赖的其它包 import "fmt" 然后是包一级的类型、变量、常量、函数的声明语句，包一级的各种类型的声明语句的顺序无关紧要 var x, y int const pi = 3.14 func sayhi(){ fmt.Println("Hell...阅读全文
PLEG(PodLifecycleEventGenerator)主要是用于周期性检测Pod的运行状态，从而对比Pod前后状态生成事件从而触发kubelet进行Pod容器状态的校证,让我们一起来初探下其内部实现机制 1. 图解设计 1.1 Pod事件生成 Pod事件生成主要是根据对应Pod前后的状态对比来实现，首先通过runtime来获取当前节点的所有Pod的列表，并将对应的状态进行保存，这样在下一个轮训周期就可以通过前后状态的对比去发现状态发生改变的Pod的容器，并且产生对应的事件 1.2 事件通知与状态同步 Pod事件生成之后会通过管道将对应的事件同步给状态同步线程，状态同步线程感知到Pod的变更事件后，会与Pod的目标状态进行对比同步，并调用Runtime来进行最终校证操作的执行，同时在...阅读全文
摘要： 大家好，这里和大家分享的是DataWorks数据集成中测试连通性失败的排查思路。与测试连通性成功与否的相关因素有很多，本文按照多个因素逐步排查，最终解决问题，希望大家以后再遇到此类问题，请参考此文，相信能够顺利解决您的问题。 一、问题现象 此案例中，DataWorks项目位于华东2，RDS Mysql数据源位于华东1（VPC网络），使用DataWorks进行数据同步之前，首先需要建立数据源，但在建立数据源RDS Mysql的配置页面，“测试连通性”失败，即数据源并没有连通。 1 二、问题处理过程 （1）首先，应该判断该数据源是否支持“测试连通性” 遇到测试连通性问题，首先应该判断该数据源是否支持“测试连通性”，请大家参考《各数据源测试连通性支持情况》。...阅读全文
课程介绍 容器服务提供高性能可伸缩的容器应用管理服务，支持用Docker容器进行应用生命周期管理，提供多种应用发布方式和持续交付能力并支持微服务架构。容器服务简化了容器管理集群的搭建工作，整合了阿里云虚拟化、存储、网络和安全能力，打造Docker云端最佳运行环境。 产品详情：https://www.aliyun.com/product/containerservice 课时列表 • 课时1：如何快速搭建WordPress应用 • 课时2：如何基于Jenkins实现DevOps • 课时3：如何实现深度学习模型开发 • 课时4：如何做深度学习模型开发 • 课时5：如何运行TensorFlow分布式训练 开始学习：http://click.a...阅读全文
PLEG(PodLifecycleEventGenerator)主要是用于周期性检测Pod的运行状态，从而对比Pod前后状态生成事件从而触发kubelet进行Pod容器状态的校证,让我们一起来初探下其内部实现机制 1. 图解设计 1.1 Pod事件生成 Pod事件生成主要是根据对应Pod前后的状态对比来实现，首先通过runtime来获取当前节点的所有Pod的列表，并将对应的状态进行保存，这样在下一个轮训周期就可以通过前后状态的对比去发现状态发生改变的Pod的容器，并且产生对应的事件 1.2 事件通知与状态同步 Pod事件生成之后会通过管道将对应的事件同步给状态同步线程，状态同步线程感知到Pod的变更事件后，会与Pod的目标状态进行对比同步，并调用Runtime来进行最终校证操作的执行，同时在...阅读全文
