Overview doublejump 的核心是 Google Jump 一致性哈希算法，这个实现弥补了该算法的最大缺点：不能删除节点。 传送门 https://github.com/edwingeng/doublejump Benchmark BenchmarkDoubleJumpWithoutLock/10-nodes 50000000 27.6 ns/op BenchmarkDoubleJumpWithoutLock/100-nodes 30000000 42.7 ns/op BenchmarkDoubleJumpWithoutLock/1000-nodes 30000000 54.1 ns/op BenchmarkDoubleJump/10-nodes 20000000 72.9 n...阅读全文
现象1. 压力测试时，使用syscall.Accept得到 bad file descriptor，server直接无法响应。原因1. syscall.Accept使用的fd来源是在自己代码初试化的时候通过TCPListener.FIle().Fd()直接拿到，且在自己的代码中通过int 类型保存了这个返回的系统fd，后续直接使用int 类型存储的fd值进行epoll相关操作2.事实上Golang 的实现实现中TCPListener.FIle() 返回的*os.FIle不是TCPListener原有的*os.File对象，而是dup(拷贝)一份，同时这个dup动作中会使用系统调用对于原来的系统fd也执行一次dup，进而生产一份新的额系统fd3.TCPListener.FIle().Fd() ...阅读全文
Go 教程系列笔记 Interface 第一部分 Go 教程系列笔记 Interface 第二部分 Go 教程系列笔记 并发介绍 Go 教程系列笔记 goroutine（协程） Go 教程系列笔记 Channel 通道 Go 教程系列笔记 缓冲通道和工作池 Go 教程系列笔记 Select Go 教程系列笔记 Mutex（互斥锁） Go 教程系列笔记 结构而不是类-Go中的OOP Go 教程系列笔记 组合而不是继承-Go 中的 OOP Go 教程系列笔记 多态-Go 中的 OOP Go 中的多态性是在接口的帮助下实现的。正如我们已经讨论过的，接口可以在Go 中隐式实现。如果类型定义了接口中声明的所有方法，则类型实现接口。让我们看看在接口的帮助下如何在Go中实现多态性。 使用接口的多态性 任何...阅读全文
摘要：POLARDB是阿里云ApsaraDB数据库团队研发的基于云计算架构的下一代关系型数据库，其最大的特色是计算节点与存储节点分离，借助优秀的RDMA网络以及最新的块存储技术。POLARDB不但满足了公有云计算环境下用户业务快速弹性扩展的刚性需求，同时也满足了互联网环境下用户对数据库服务器高可用的需求。本文就带领大家了解什么是“云原生数据库”，云原生数据库的标准是什么，如何定义以及为何如此定义？为大家介绍下一代云原生数据库POLARDB的架构、产品设计、未来工作等内容。 以下内容根据演讲嘉宾视频分享以及PPT整理而成，PPT下载链接： http://click.aliyun.com/m/51144/。 演讲嘉宾简介：蔡松露（子嘉），阿里云云数据库总架构师，主要负责阿里云POLA...阅读全文
kafka官网上介绍kafka是一个分布式流处理平台。 那什么是流处理平台呢，流处理平台有以下三种特性: 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。 可以储存流式的记录，并且有较好的容错性。 可以在流式记录产生时就进行处理。 第一个特性很好理解，我们可以用kafka去发消息和接受消息，做一个广播，这个很多工具都可以做到，redis也支持，自己实现也可以，但是kafka强大在他的高可用高性能和可靠性。 第二点，kafka他自己有个参数，log.retention.hours，日志删除的时间阈值（小时为单位），默认是168小时，也就是七天，这七天内的消息，你都可以重新消费到，也可以确定从何处开始消费。 第三点，kafka利用Kafka Streams，我们可以对kaf...阅读全文
```go package main import ( "fmt" "math/rand" ) var MAX_LEVEL int type node struct { key int forward []*node } type SkipList struct { lv int //level hnode *node } func randomLevel() int { return rand.Intn(10) } func init() { MAX_LEVEL = 10 } func createNode(lv int, kv int) *node { return &node{ ...阅读全文
好程序员大数据入门学习之Hadoop技术优缺点(1)Hadoop具有按位存储和处理数据能力的高可靠性。(2)Hadoop通过可用的计算机集群分配数据，完成存储和计算任务，这些集群可以方便地扩展到数以千计的节点中，具有高扩展性。(3)Hadoop能够在节点之间进行动态地移动数据，并保证各个节点的动态平衡，处理速度非常快，具有高效性。(4)Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配，具有高容错性。Hadoop的缺点(1)Hadoop不适用于低延迟数据访问。(2)Hadoop不能高效存储大量小文件。(3)Hadoop不支持多用户写入并任意修改文件。Hadoop的核心组件Hadoop自诞生以来，主要出现了Hadoop1、Hadoop2、Hadoop3三个系列多个版本。H...阅读全文
反射这个概念绝大多数语言都有，比如Java，PHP之类，golang自然也不例外，反射其实程序能够自描述和自控制的一类机制。 比如，通过PHP的反射，你可以知道一个类有什么成员，有什么方法。而golang，也能够通过官方自带的reflect包来了解各种变量类型及其信息。 下面我们通过一个例子查看反射的基本用法。 话不多说，直接贴代码： package main import ( "fmt" "reflect" ) type Order struct { ordId int customerId int callback func() } func reflectInfo(q interface{}) { t := reflect.TypeOf(q) v := reflect.ValueOf(...阅读全文
笔记 - unsafe Package unsafe contains operations that step around the type safety of Go programs. Packages that import unsafe may be non-portable and are not protected by the Go 1 compatibility guidelines. unsafe 库让 golang 可以像C语言一样操作计算机内存，但这并不是golang推荐使用的，能不用尽量不用，就像它的名字所表达的一样，它绕过了golang的内存安全原则，是不安全的，容易使你的程序出现莫名其妙的问题，不利于程序的扩展与维护。 unsafe.Sizeof Sizeof ...阅读全文
好多人都在刷leetcode，今天我也注册了一个玩玩，发现里面好多都是算法题，好吧，毕业十来年，学的那点可怜的数学知识，全都还给学校了。好了闲话少说，言归正传，让我们看看今天在里面我尝试的第一道题，有点意思， 不只是单纯的算法，还有数据和是否适合的问题。 承题 点开题库，看了第一题，我们看看这道题： 给定一个整数数组和一个目标值，找出数组中和为目标值的两个数。 你可以假设每个输入只对应一种答案，且同样的元素不能被重复利用。 示例: 给定 nums = [2, 7, 11, 15], target = 9 因为 nums[0] + nums[1] = 2 + 7 = 9 所以返回 [0, 1] 用了这么多文字描述，其实总结起来就是：数组里那两个数想加等于目标值，找出来这两个数的索引。 题是不难...阅读全文
通过类型断言(type assertion)方式来判断接口的具体类型， Sometimes, you may want to know the exact type of an interface variable. In this scenario, you can use type assertion: x.(T) x”的类型必须为interface的变量，“T”表示是推断的类型。例如: x is the variable whose type must be interface, and T is the type which you want to check. For example: package main import "fmt" func printValue(v inte...阅读全文
很多小伙伴在入门编程时，C语言课程开始的，但最近有的小伙伴问我，学编程一定要从C语言开始吗？直接学习JAVA可以吗？大雄建议：在选择编程语言之前，搞清楚自己的编程目的，有没特别想打磨一个产品出来?比如有些程序员想自己打造一款Java 游戏，所以他选择了java。所以，一定程度上取决于你的编程目的。C语言现在已经很成熟，它的各种语法规则、思想都已经确立起来了，并对现在的很多语言产生很大的影响。所以作为底层语言也是很多人在入门编程时想要第一个学习的。但是任何事物都有其优点和缺点，C语言也不例外。下面大雄带大家分别来看一下。C语言的优点C语言的优点有三个：代码量小运行速度快功能强大我们先看第一个优点，C语言的代码量很小，这是什么意思呢？也就是说如果要完成同样一个功能，用C语言编写出来的程序的容...阅读全文
一、 (1)init函数 init 函数可在package main中，可在其他package中，可在同一个package中出现多次。 (2)main函数 main 函数只能在package main中。 (3)执行顺序如下图: golang里面有两个保留的函数：init函数（能够应用于所有的package）和main函数（只能应用于package main）。这两个函数在定义时不能有任何的参数和返回值。 虽然一个package里面可以写任意多个init函数，但这无论是对于可读性还是以后的可维护性来说，我们都强烈建议用户在一个package中每个文件只写一个init函数。 go程序会自动调用init()和main()，所以你不需要在任何地方调用这两个函数。每个package中的init函数都...阅读全文
在 2017年 本年度计算机语言榜这篇中， 我们汇报总结了 2017 年最最火的 TOP 20 计算机语言，全部的语言中，Java、C、C++ 名列前三。Java 凭着可移植性、可扩展性及其庞大的社区性傲视群雄，那麼最原始的 C 和 C++ 为什么依然成活至今？本文的创作者亦发表了自身的观点，他觉得，硬件访问、效率高、跨平台性、持续演进、应用领域广泛等等全是他们风靡迄今不可缺少的关键因素。 下列为译文： C 语言问世于 1972 年（45 年前），而 C ++ 问世于 1985 年。或许有些人会觉得在这般悠长的时间里，像 C、C++ 那样古老的语言早已日薄西山，显然你弄错： 访问硬件 在许多应用程序中浏览硬件是十分关键的，C 和 C ++ 能够或多或少让人完全控制硬件。直接操控硬件的益处有：...阅读全文
goroutine是非常轻量的，不会暂用太多资源，基本上有多少任务，我们可以开多少goroutine去处理。但有时候，我们还是想控制一下。 比如，我们有A、B两类工作，不想把太多资源花费在B类务上，而是花在A类任务上。对于A，我们可以来1个开一个goroutine去处理，对于B，我们可以使用一个协程池，协程池里有5个线程去处理B类任务，这样B消耗的资源就不会太多。 控制使用资源并不是协程池目的，使用协程池是为了更好并发、程序鲁棒性、容错性等。废话少说，快速入门协程池才是这篇文章的目的。 协程池指的是预先分配固定数量的goroutine处理相同的任务，和线程池是类似的，不同点是协程池中处理任务的是协程，线程池中处理任务的是线程。 最简单的协程池模型 上面这个图展示了最简单的协程池的样子。先把协...阅读全文
一、 (1)init函数 init 函数可在package main中，可在其他package中，可在同一个package中出现多次。 (2)main函数 main 函数只能在package main中。 (3)执行顺序如下图: golang里面有两个保留的函数：init函数（能够应用于所有的package）和main函数（只能应用于package main）。这两个函数在定义时不能有任何的参数和返回值。 虽然一个package里面可以写任意多个init函数，但这无论是对于可读性还是以后的可维护性来说，我们都强烈建议用户在一个package中每个文件只写一个init函数。 go程序会自动调用init()和main()，所以你不需要在任何地方调用这两个函数。每个package中的init函数都...阅读全文
无论是在早期的负载均衡器中，还是当前微服务基于客户端的负载均衡中，都有一个最基础的轮询算法，即将请求平均分布给多台机器,今天聊聊在此基础上, kube proxy是如何实现亲和性轮询的核心数据结构. 了解亲和性策略实现，失败重试等机制 1. 基础筑基 1.1 Service与Endpoints Service和Endpoint是kubernetes中的概念，其中Service代表一个服务，后面通常会对应一堆pod，因为pod的ip并不是固定的，用Servicel来提供后端一组pod的统一访问入口， 而Endpoints则是一组后端提供相同服务的IP和端口集合在这节内容中大家知道这些就可以来， 1.2 轮询算法 轮询算法可能是最简单的算法了，在go里面大多数实现都是通过一个slice存储当前可...阅读全文
摘要： MaxCompute作为阿里云大数据平台的核心计算组件，承担了集团内外大部分的分布式计算需求。 免费开通大数据服务：https://www.aliyun.com/product/odps **前言** MaxCompute作为阿里云大数据平台的核心计算组件，承担了集团内外大部分的分布式计算需求。而MaxCompute SQL作为分布式数据处理的主要入口，为快速方便处理/存储EB级别的离线数据提供了强有力的支持。 随着大数据业务的不断扩展，新的数据使用场景在不断产生，在这样的背景下，MaxCompute计算框架也在不断的演化，原来主要面对内部特殊格式数据的强大计算能力，也正在一步步的开放给不同的外部数据。 之前我们介绍了怎样[在MaxCompute上处理存储在OSS上...阅读全文
作为当今互联网后端技术栈工程师、无论Golang、Java或者其他系，分布式的理论概念都逐步成为必备理论基础知识之一, 本文主要讨论分布式的CAP理论的推进，这是你走进分布式大门的第一块敲门砖。 提纲: 一、从本地事务到分布式理论 二、ACID理论 三、CAP理论 四、CAP理论“3选2”论证 五、BASE理论 附加:分布式概念 分布式实际上就是单一的本地一体解决方案，在硬件或者资源上不够业务需求，而采取的一种分散式多节点，可以扩容资源的一种解决思路。它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给多个计算机进行处理，最后把这些计算结果综合起来得到最终的结果。 那么在了解分布式之前，我们应该从一体式的构造开始说明。 一、从本地事务到分布式理论 理解第...阅读全文
【CSDN编者按】在 2017年 本年度计算机语言榜这篇中， 我们汇报总结了 2017 年最最火的 TOP 20 计算机语言，全部的语言中，Java、C、C++ 名列前三。Java 凭着可移植性、可扩展性及其庞大的社区性傲视群雄，那麼最原始的 C 和 C++ 为什么依然成活至今？本文的创作者亦发表了自身的观点，他觉得，硬件访问、效率高、跨平台性、持续演进、应用领域广泛等等全是他们风靡迄今不可缺少的关键因素。下列为译文：C 语言问世于 1972 年（45 年前），而 C ++ 问世于 1985 年。或许有些人会觉得在这般悠长的时间里，像 C、C++ 那样古老的语言早已日薄西山，显然你弄错： 1. 访问硬件在许多应用程序中浏览硬件是十分关键的，C 和 C ++ 能够或多或少让人完全控制硬件。直接...阅读全文
摘要： 大家好，这里和大家分享的是DataWorks数据集成中测试连通性失败的排查思路。与测试连通性成功与否的相关因素有很多，本文按照多个因素逐步排查，最终解决问题，希望大家以后再遇到此类问题，请参考此文，相信能够顺利解决您的问题。 一、问题现象 此案例中，DataWorks项目位于华东2，RDS Mysql数据源位于华东1（VPC网络），使用DataWorks进行数据同步之前，首先需要建立数据源，但在建立数据源RDS Mysql的配置页面，“测试连通性”失败，即数据源并没有连通。 1 二、问题处理过程 （1）首先，应该判断该数据源是否支持“测试连通性” 遇到测试连通性问题，首先应该判断该数据源是否支持“测试连通性”，请大家参考《各数据源测试连通性支持情况》。...阅读全文
