【编者的话】本文对比了Zookeeper、etcd和Consul三种服务发现工具，探讨了最佳的服务发现解决方案，仅供参考。 如果使用预定义的端口，服务越多，发生冲突的可能性越大，毕竟，不可能有两个服务监听同一个端口。管理一个拥挤的比方说被几百个服务所使用的所有端口的列表，本身就是一个挑战，添加到该列表后，这些服务需要的数据库和数量会日益增多。因此我们应该部署无需指定端口的服务，并且让Docker为我们分配一个随机的端口。唯一的问题是我们需要发现端口号，并且让别人知道。 当我们开始在一个分布式系统上部署服务到其中一台服务器上时，事情会变得更加复杂，我们可以选择预先定义哪台服务器运行哪个服务的方式，但这会导致很多问题。我们应该尽我们所能尽量利用服务器资源，但是如果预先定义每个服务的部署位置，那么...阅读全文
Pitaya是一款易于使用，快速且轻量级的分布式游戏服务器框架 Pitaya is an simple, fast and lightweight game server framework with clustering support and client libraries for iOS, Android, Unity and others through the C SDK. It provides a basic development framework for distributed multiplayer games and server-side applications. Getting Started Prerequisites Go >= 1.10 e...阅读全文
 ECUG 全称为 Effective Cloud User Group （实效云计算用户组），由七牛云 CEO 许式伟于 2007 年发起，集结了一批具有高端视角并仍醉心于技术本身的同仁，共同关注云计算前沿技术的最新成果和分布式开发、运维的最佳实践。在过去的八年中， ECUG 社区每年都会组织一场全国性的 ECUG Con 大会，期间众多技术大神纷纷参与，他们或许在大众技术会议已经鲜少露面，但会在 ECUG Con 畅谈心得，共同奉献一场半公开的高规格技术分享盛会。 ECUG Con 发展历程 即可. value 可以包含addr, 状态, 优先度等信息 client.OpPut(key,value) 这里的小提示: 最好实现健康检查, 再好的代码也有跑不动的一天, 好像etcd的健康检查只支持ttl(服务向etcd定时重新PUT), 所以记得设置TTL并整一个Tick定时执行以上代码吧. 不过consul支持两种健康检查, 一种是ttl, 一种是consul主动去检查服务状态(详情看最底下 ↓ 的参考), 个...阅读全文
本文整理一下思路，编写示例（golang），以便加深etcd的理解 大致如下，监听程序为master，服务为service 1 service 启动时向etcd注册自己的信息，即注册到services/ 这个目录 2 service 可能异常推出，需要维护一个TTL(V3 使用 lease实现)，类似于心跳，挂掉了，master可以监听到 3 master监听 services/ 目录下的所有服务，根据不同action（V3有put/delete），进行处理 service注册 提供 key(service name), value(serviceInfo)进行registered start 启动后，执行keeplive(), 维护心跳，挂掉时revoke() 同时监听 stop chan...阅读全文
之前在项目中遇到过etcd的版本不一致, 导致无法编译. 最终是因为版本不一致的问题. https://segmentfault.com/q/1010000021762281 go mod替换版本 先删除vendor: rm -rf vendor 或手动删除 1.再替版本: go mod edit -require=google.golang.org/grpc@v1.26.0 1.下载指定版本v1.26.0: go get -u -x google.golang.org/grpc@v1.26.0 1.然后再go mod vendo...阅读全文
gRPC服务发现&负载均衡 构建高可用、高性能的通信服务，通常采用服务注册与发现、负载均衡和容错处理等机制实现。根据负载均衡实现所在的位置不同，通常可分为以下三种解决方案： 1、集中式LB（Proxy Model） 在服务消费者和服务提供者之间有一个独立的LB，通常是专门的硬件设备如 F5，或者基于软件如 LVS，HAproxy等实现。LB上有所有服务的地址映射表，通常由运维配置注册，当服务消费方调用某个目标服务时，它向LB发起请求，由LB以某种策略，比如轮询（Round-Robin）做负载均衡后将请求转发到目标服务。LB一般具备健康检查能力，能自动摘除不健康的服务实例。 该方案主要问题： 单点问题，所有服务调用流量都经过LB，当服务数量和调用量大的时候，LB容易成为瓶颈，且一旦LB发生故障...阅读全文
Linux下多进程管理工具对开发和运维都很有用，常见的功能全面的主流工具主要有monit、supervisor。不过开发中使用则推荐轻量级小工具goreman。 goreman是对Ruby下广泛使用的foreman的重写，毕竟基于golang的工具简单易用多了。顺便提一句：goreman的作者是mattn，在golang社区挺活跃的日本的一名程序员。foreman原作者也实现了一个golang版：forego，不过没有goreman好用，举个例子：coreos的etcd就是使用的goreman来一键启停单机版的etcd集群。 安装 go工具安装都非常简单： go get github.com/mattn/goreman goreman help 当然，记得先把GOPATH、GOROOT环境变...阅读全文
# 微信中继服务器 目的：其他服务采用拉服务模式，通过rpcx进行rpc通信，获取相关微信token. 用户微信公众号第三方平台刷公众号平台和托管的公众号appid的相关token, 该服务不能停超过10分钟. 主要刷公众号第三方平台的component_access_token和preauthcode, 公众号的authorizer_access_token和authorizer_refresh_token 存储方式：etcd存储rpc服务地址和微信公众号平台和公众号token, 使用etcd的ttl特性，并watch并刷新 ## 新增服务的可靠性措施 1. 服务启动后，立即读取etcd中的所有微信公众平台和公众号数据，加载到内存中。 并监听所有token ...阅读全文
gonet 游戏服务器架构，mmo架构，分布式snowflake64为整形uuid,ai行为树，配置data，游戏大部分都在内存运算,分布式缓存redis,增加db模块读取blob数据。 设计之初，建立在actor模式下的；rpc，以及消息驱动，rpc无需注册，支持通用数据(int,[]int,[3]int),map数据,以及struct数据，rpc性能测试如下；sql封装简单的orm(orm支持pb结构体做mysql blob,orm支持结构体做mysql json类型)具体看demo websocket模式下，要在net，websocket注视掉如下代码,在netgateserver里面注释回//websocket这段 代码除了mysql，protobuf，redis,...阅读全文
大家好，我是徐超，从事 Kubernetes 开发已经两年多了。 今天，我从一个开发者的角度来讲一讲 client-go repository，以及怎么用 client-go 搭建 Controller。同时，也给大家讲一讲开发过程中遇到的坑，希望大家在开发的时候可以绕坑而行。 另外，我还会讲一下 Kubernetes 的 API，让 controller 功能变的更加强大。 那我们现在先来讲，有哪些方法可以跟 APIserver 进行通讯。最常用的，可能就是 kubectl，以及官方支持的 UI，Kube Dashboard，这是 google 最近投入很多的一个项目。 开发过程中 debug 的时候可以直接去调用 k8s 的 Restful API，通过写脚本去实现 Controller...阅读全文
1. 监视某一个节点 watcher := kAPI.Watcher("workers/", &client.WatcherOptions{ Recursive: true, }) for { res, err := watcher.Next(context.Background()) if err != nil { log.Println("Error watch workers:", err) break } if res.Action == "expire" { member, ok := m.members[res.Node.Key] if ok { member.InGroup = false } } else if res.Action == "set" || res.Actio...阅读全文
前言 最近在写一个cli程序，习惯性的go build之后发现简简单单的几行代码打包出来就3.0+MB了，为此被做Python的同学嘲笑了很久，于是就研究了一下go build产生的可执行文件的压缩 代码示例 代码如下： package main import ( "os" "gopkg.in/urfave/cli.v2" ) const ( APP_NAME = "etcd-cli" APP_VERSION = "0.1" APP_USAGE = "etcd-cli是一个简单实用的etcd命令行客户端，帮助你彻底解脱一次又一次的输入etcdctl" ) func main() { app := new(cli.App) app.Name = APP_NAME app.Version = A...阅读全文
gonet 游戏服务器架构，mmo架构，分布式snowflake64为整形uuid,ai行为树，配置data，游戏大部分都在内存运算,分布式缓存redis,增加db模块读取blob数据。 设计之初，建立在actor模式下的；rpc，以及消息驱动，rpc无需注册，支持通用数据(int,[]int,[3]int),map数据,以及struct数据，rpc性能测试如下；sql封装简单的orm(orm支持pb结构体做mysql blob,orm支持结构体做mysql json类型)具体看demo websocket模式下，要在net，websocket注视掉如下代码,在netgateserver里面注释回//websocket这段 代码除了mysql，protobuf，redis,...阅读全文
【编者按】Docker是PaaS供应商dotCloud开源的一个基于LXC 的高级容器引擎，源代码托管在 GitHub 上, 基于Go语言开发并遵从Apache 2.0协议开源。Docker提供了一种在安全、可重复的环境中自动部署软件的方式，它的出现拉开了基于云计算平台发布产品方式的变革序幕。为了更好的促进Docker在国内的发展以及传播，我们决定开设《深入浅出Docker》专栏，邀请Docker相关的布道师、开发人员、技术专家来讲述Docker的各方面内容，让读者对Docker有更深入的了解，并且能够积极投入到新技术的讨论和实践中。另外，欢迎加入InfoQ Docker技术交流群交流Docker的最佳实践，QQ群号：124378115。 1.概述 谷歌发起的开源项目从来都是广受技术圈的关注...阅读全文
主要介绍 Kubernetes 的主要特性和一些经验。先从整体上看一下Kubernetes的一些理念和基本架构， 然后从网络、 资源管理、存储、服务发现、负载均衡、高可用、rolling upgrade、安全、监控等方面向大家简单介绍Kubernetes的这些主要特性。 我们先从整体上看一下Kubernetes的一些理念和基本架构， 然后从网络、 资源管理、存储、服务发现、负载均衡、高可用、rolling upgrade、安全、监控等方面向大家简单介绍Kubernetes的这些主要特性。 当然也会包括一些需要注意的问题。主要目的是帮助大家快速理解 Kubernetes的主要功能，今后在研究和使用这个具的时候有所参考和帮助。 ##1.Kubernetes的一些理念： 1...阅读全文
centos安装upx wget -c http://ftp.tu-chemnitz.de/pub/linux/dag/redhat/el7/en/x86_64/rpmforge/RPMS/ucl-1.03-2.el7.rf.x86_64.rpm rpm -Uvh ucl-1.03-2.el7.rf.x86_64.rpm yum install ucl wget -c http://ftp.tu-chemnitz.de/pub/linux/dag/redhat/el7/en/x86_64/rpmforge/RPMS/upx-3.91-1.el7.rf.x86_64.rpm rpm -Uvh upx-3.91-1.el7.rf.x86_64.rpm yum install upx #upx压缩...阅读全文
http://blog.codeg.cn/post/blog/2016-02-24-distrubute-lock-over-etcd/ By zieckey · 2016年02月24日 · 1205 Words · ~3min reading time | 编辑这个页面 | Tags: Golang etcd 分布式 本文 http://blog.codeg.cn/post/blog/2016-02-24-distrubute-lock-over-etcd/ 是作者zieckey在研究和学习相关内容时所做的笔记，欢迎广大朋友指正和交流！ 版权所有，欢迎转载和分享，但请保留此段声明。 etcd是随着CoreOS项目一起成长起来的，随着Golang和CoreOS等项目在开源社区日益火热， et...阅读全文
traefik(https://traefik.io/)是一款开源的反向代理与负载均衡工具。它最大的优点是能够与常见的微服务系统直接整合，可以实现自动化动态配置。目前支持Docker, Swarm, Mesos/Marathon, Mesos, Kubernetes, Consul, Etcd, Zookeeper, BoltDB, Rest API等等后端模型。 traefik的具体模型如下： 为什么选择traefik？ 事实上在之前我对LB的选择一直更倾向于使用HAProxy。但是选择traefik主要是有以下特点让我们决定使用： Golang编写，单文件部署，与系统无关，同时也提供小尺寸Docker镜像。 支持Docker/Etcd后端，天然连接我们的微服务集群。 内置Web UI，管...阅读全文
wx_relay_server是一款微信公众号第三方平台中继服务器，用于刷新公众号平台自身的token和托管的公众号token。 **目的：** 其他服务采用拉服务模式，通过rpcx进行rpc通信，获取相关微信token. 用户微信公众号第三方平台刷公众号平台和托管的公众号appid的相关token, 该服务不能停超过10分钟. 主要刷公众号第三方平台的component_access_token和preauthcode, 公众号的authorizer_access_token和authorizer_refresh_token **存储方式：** etcd存储rpc服务地址和微信公众号平台和公众号token, 使用etcd的ttl特性，并watch并刷新 **新增服务的可靠性措施*...阅读全文
前一段时间的项目里用到了 Etcd， 所以研究了一下它的源码以及实现。网上关于 Etcd 的使用介绍的文章不少，但分析具体架构实现的文章不多，同时 Etcd v3的文档也非常稀缺。本文通过分析 Etcd 的架构与实现，了解其优缺点以及瓶颈点，一方面可以学习分布式系统的架构，另外一方面也可以保证在业务中正确使用 Etcd，知其然同时知其所以然，避免误用。最后介绍 Etcd 周边的工具和一些使用注意事项。 阅读对象：分布式系统爱好者，正在或者打算在项目中使用Etcd的开发人员。 Etcd 按照官方介绍 Etcd is a distributed, consistent key-value store for shared configuration and service discovery 是...阅读全文
概述 grpc 是谷歌开源的rpc框架,基于http2实现,并支持跨语言,目前基本涵盖了主流语言.跨语言的实现主要得益于protobuf,通过编写proto文件,通过protobuf工具生成对应语言的类库进行使用. 对于go这样一门新生语言来说,生态链还处于发展阶段,微服务框架也是如此,下面将基于grpc-go版本搭建一个微服务通讯框架. 1.服务注册与发布的机制 1.1 解决的问题 服务注册与发布主要解决的服务依赖问题,通常意义上,如果A服务调用B服务时,最直接的做法是配置IP地址和端口.但随着服务依赖变多时,配置将会是否庞杂,且当服务发生迁移时,那么所有相关服务的配置均需要修改,这将十分难以维护以及容易出现问题.因此为了解决这种服务依赖关系,服务注册与发布应运而生. 1.2 机制 服务注...阅读全文
Consul 是什么 Consul 是一个支持多数据中心分布式高可用的服务发现和配置共享的服务软件,由 HashiCorp 公司用 Go 语言开发, 基于 Mozilla Public License 2.0 的协议进行开源. Consul 支持健康检查,并允许 HTTP 和 DNS 协议调用 API 存储键值对. 命令行超级好用的虚拟机管理软件 vgrant 也是 HashiCorp 公司开发的产品. 一致性协议采用 Raft 算法,用来保证服务的高可用. 使用 GOSSIP 协议管理成员和广播消息, 并且支持 ACL 访问控制. Consul 的使用场景 docker 实例的注册与配置共享 coreos 实例的注册与配置共享 vitess 集群 SaaS 应用的配置共享 与 confd ...阅读全文
文出处：个人博客地址：http://www.damonyi.cc/?p=194 项目中用到Etcd数据库来存储容器的信息和应用的域名信息，将操作Etcd的golang代码整理了一下 1、将Container信息写入到指定目录 c, err := common.GetEtcdClient() if err != nil { beego.Error("get etcd client failed") return } kapi := client.NewKeysAPI(c) key := getSkyDnsDomain(domainEtcd.Domain) value, _ := json.Marshal(domainEtcd) var etcderr error common.HaproxyT...阅读全文
第一次采用kube-up.sh脚本方式安装的Kubernetes cluster目前运行良好，master node上的组件状态也始终是“没毛病”： # kubectl get cs NAME STATUS MESSAGE ERROR controller-manager Healthy ok scheduler Healthy ok etcd-0 Healthy {"health": "true"} 不过在第二次尝试用kubeadm安装和初始化Kubernetes cluster时遇到的各种网络问题还是让我“心有余悸”。于是趁上个周末，对Kubernetes的网络原理进行了一些针对性的学习。这里把对Kubernetes网络的理解记录一下和大家一起分享。 Kubernetes支持Flanne...阅读全文
etcd 是由CoreOS开发，用于可靠地存储集群的配置数据的一种持久性，轻量型的，分布式的键-值数据存储。表示在任何给定时间点处的集群的整体状态。其他组件在注意到存储的变化之后，会变成相应的状态。 etcd 有golang 编写 kubernets体系中主要用于 服务注册 + 服务发现. // 以下为俺们封装的grpc调用 etcd的调用逻辑. 服务端. 注册服务. client端. 发现服务. 使用服务. 2.1 导入 invoker 包 main.go -> service.Init() -> 相关grpc的初始化. -> 导入 git.dz11.com/vega/invoker 包. 2.2 invoker包的init函数执行. 在 invoker/register.go 中. in...阅读全文
# 分布式任务调度平台 > 演示地址:http://122.51.106.217:6579 ## 前言 在企业系统开发过程中难免少不了一些定时任务来进行定时触发执行任务，对于非分布式环境系统中，我们只需要在对应系统中内部集成一些调度库进行配置定时触发即可。 比如：使用Spring框架集成quartz,只需要进行一些简单的配置就能定时执行任务了。但是随着企业的系统越来越多、逐步从单一应用慢慢演变为微服务集群。 在分布式集群系统中主要面临出如：任务的重复执行、没有统一定时任务配置、任务节点故障转移、任务监控&报警等一些列的功能都是要在分布式系统中进行解决。 此分布式的定时任务调度平台，它非常轻量小巧，使用简单，后端以中心服务器为调度核心，负责集群中各种任务的动态分配和调度执行。 在平台前端支持W...阅读全文
第1章 课程介绍本章中将介绍一下本课程的基本内容，包括：我们要做什么、要求什么基础、将学会哪些工具、收获哪些独家干货，以及课程具体安排。第2章 如何执行shell命令执行"定时任务"其实就是执行"shell命令"。在本章中，将首先带大家区分"程序"与"命令"，接着了解bash命令解释器的2种工作模式，并图示分析shell执行任务的底层原理与涉及的系统调用。最后，我们使会用Go语言的Command标准库，实现任务的执行，输出捕获，杀死任务等重要功能。 ...第3章 如何解析cron表达式cron表达式是配置定时任务执行周期的核心工具。在本章中，将首先分析cron表达式的构成以及解析逻辑，并利用开源项目cronexpr解析cron表达式并计算任务的下次调度时间。之后，我们将利用其实现任务并发调度...阅读全文
上个图先：  代码地址： https://github.com/silenceper/dcm...阅读全文
引言自从在Go 1.11和更高版本中引入了Go的新的依赖管理系统以来，GoLang开发人员已经接受了包版本控制解决方案。这样做的用户可以使用GoCenter存储库中的不可变公共Go 模块，并通过更健壮、更可靠的Go Pipeline获得更快的构建速度。 但是，将现有的项目转换为使用Go Module并不总是很容易，尤其是如果该项目已经尝试过GoLang的其他包管理解决方案时。 为了帮助GoLang社区正确地使用Go Module，我们将使用开源的etcd项目（Kubernetes使用的键值数据存储）作为示例。这是一个最佳实践的实际示例，因为它足够复杂，可以展示一些常见的实践 PS：在上一篇关于Go语言开发的的文章中（传送门：Go 语言依赖管理的优势），我们介绍了Go 依赖管理的发展历史以及G...阅读全文
package main import ( "log" "github.com/coreos/go-etcd/etcd" ) func main() { client := etcd.NewClient( []string{ "http://127.0.0.1:2379", }, ) for { resp, err := client.Get("config", false, false) if err != nil { log.Fatal(err) } log.Printf("Current creds: %s: %s\n", resp.Node.Key, resp.Node.Value) receiver := make(chan *etcd.Response) go client.Wa...阅读全文
consul是一个可以提供服务发现，健康检查，多数据中心，Key/Value存储等功能的分布式服务框架 用于实现分布式系统的服务发现与配置。与其他分布式服务注册与发现的方案，Consul的方案更"一站式"，内置了服务注册与发现框架、分布一致性协议实现、健康检查、Key/Value存储、多数据中心方案，不再需要依赖其他工具（比如ZooKeeper等）。使用起来也较为简单。Consul用Golang实现，因此具有天然可移植性(支持Linux、Windows和Mac OS X)；安装包仅包含一个可执行文件，方便部署，与Docker等轻量级容器可无缝配合。 Consul 的使用场景 docker 实例的注册与配置共享 coreos 实例的注册与配置共享 vitess 集群 SaaS 应用的配置共享 ...阅读全文
kubernetes1.0刚刚发布，开源社区400多位贡献者一年的努力，多达14000多次的代码提交，最终达到了之前预计的milestone, 并意味着这个开源容器编排系统可以正式在生产环境使用，必将推动容器生态及周边产业的进步发展。本次分享主要介绍kubernetes1.0较新的功能特性，包括服务发现方式及较新版本对应的设置变化，如何用dns方式构建内网服务发现，存储支持，如何解决集群存储及如何使用rbd的方式将ceph存储块附加到Pod，监控，如何在集群模式下搭建监控系统等话题。以及介绍Kuberentes官方发布时官方提到的功能理念及未来部分的功能扩展，包括k8s产品经理Craig McLuckie所提及的kubernetes的整体愿景等。 下文是本次的分享整理： 首先介绍...阅读全文
Etcd和Consul都是非常出名的服务化治理工具。本篇先来讲一下Etcd的使用。 学会使用 安装 go get github.com/coreos/etcd/client 引用 "github.com/coreos/etcd/client" Example cfg := client.Config{ Endpoints: []string{"http://127.0.0.1:2379"}, Transport: client.DefaultTransport, // set timeout per request to fail fast when the target endpoint is unavailable HeaderTimeoutPerRequest: time.Second...阅读全文
简介 etcd介绍.png etcd是一个golang编写的分布式、高可用的一致性键值存储系统，用于提供可靠的分布式键值(key-value)存储、配置共享和服务发现等功能。etcd可以用于存储关键数据和实现分布式调度，在现代化的集群运行中能够起到关键性的作用。 etcd基于raft协议，通过复制日志文件的方式来保证数据的强一致性。在etcd之前，常用的是基于paxos协议的zookeeper。 安装 可以通过下载源码自己编译，也可以下载编译好的二进制文件，这里选择编译好的。 下载页面：https://github.com/etcd-io/etcd/releases 选择合适的版本下载，实验机器系统是centos7，这里选择linux的版本: https://github.com/etcd-...阅读全文
Go Module是Go会在1.12中正式推出的包管理机制。 Go mod 简介 Golang一直存在一个被人诟病的问题是缺少一个官方的包依赖管理工具。从我个人的角度上来看存在两个问题： GOPATH特性对于多工程的情况下，支持不算友好。 GOPATH无法对依赖包进行有效的版本管理，没有任何地方能够表明依赖包的具体版本号，无法简单清晰获取到有效的依赖包版本信息等。 在Go1.11时,官方推出了go mod作为官方的依赖管理工具。而go mod与之前的利用vendor特性的依赖管理工具的不同点在于，go mod 更类似于maven这种本地缓存库的管理方式,不论你有多少个工程，只要你引用的依赖的版本是一致的，那么在本地就只会有一份依赖文件的存在。而vendor即使依赖的版本是相同的，但如果在不同...阅读全文
a distributed lock which is implemented by redis and etcd. github: https://github.com/lcbluestorm/distributed-loc...阅读全文
【编者的话】亚信公司有一些多年来在大数据方面的积累，比如数据，计算工具，算法等。现在要把这些能力结合起来做一个PaaS平台。经过一些前期选型与评估，我们决定用kubernetes＋外部服务形式的架构来建立PaaS平台。 @Container容器技术大会将于6月4日在上海光大会展中心国际大酒店举办，来自携程、PPTV、蚂蚁金服、京东、浙江移动、海尔电器、唯品会、eBay、道富银行、麻袋理财、土豆网、阿里百川、腾讯游戏、点融网等公司的技术负责人将带来实践经验分享，3月21日之前购票只需238元，欢迎感兴趣的同学抢购。 首先我们简单回顾一下Kubernetes关于Kubetnetes的架构大家应该都有所了解，主要的组件比如 API serve、etcd、Controller Manager、Sch...阅读全文
Go作为近两年迅速流行起来的编程语言始终致力于使事情简单化。它并未引入很多新概念，而是聚焦于打造一门简单的语言，让开发者使用起来感觉异常快速且简单。相信有意向深入学习Go语言的小伙伴都在研究Go的开源项目，今天我就把自己觉得不错的6个Go开源项目和学习线路图分享给大家，希望大家能获得收获和成长。Go语言基础入门学习线路图：Go语言开源项目推荐：推荐一：kubernetes 【Star：44418】Kubernetes基于Docker，其目的是让用户通过Kubernetes集群来进行云端容器集群的管理，而无需用户进行复杂的设置工作。系统会自动选取合适的工作节点来执行具体的容器集群调度处理工作。推荐二：etcd 【Star：21408】etcd是由CoreOS开发并维护键值存储系统，它使用Go语...阅读全文
April 7, 2017 in Tech github开启对docker hub的读授权 Dockerfile上github Docker Hub上创建Automated build 取到本地并push到private Registry 之前在安装k8s的时候，我们提到了依赖的gcr.io/google_containers里的镜像因为GFW的原因取不到，但是暂时没有gcr.io的国内镜像，怎么办呢？ 方法1：如果有aws上的EC2虚拟机，远程到虚拟机上docker pull gcr.io/google_containers/xxx，然后tag为docker hub（也就是删掉gcr.io/google_containers/前缀），最后再docker push 到docker hub上自...阅读全文
yispider是一款分布式爬虫平台，帮助你更好的管理和开发爬虫。 内置一套爬虫定义规则（模版），可使用模版快速定义爬虫，也可当作框架手动开发爬虫 项目地址: https://github.com/2young2simple/yispider ## 架构 目前框架分为2个部分: #### 1.爬虫部分（spider节点）: 内部结构参考python scrapy框架，主要由 schedule,page process,pipline 4个部分组成，单个爬虫单独调度器，单独上下文管理,目前内置2中pipline的方式，控制台和文件,节点信息注册在etcd上用于manage节点发现。 * `core`:负责爬虫生命周期、上下文的管理，负责爬虫的运行。 ...阅读全文
Confd是一个轻量级的配置管理工具。通过查询[Etcd](http://www.oschina.net/p/etcd)，结合配置模板引擎，保持本地配置最新，同时具备定期探测机制，配置变更自动reload...阅读全文
Stolon是一个cloud native的PostgreSQL高可用管理工具。它之所以是cloud native的是因为它可以在为容器内部的PostgreSQL提供高可用（Kubernetes 集成），而且还支持其他种类的基础设施（比如：cloud IaaS，旧风格的基础设施等） 、 Stolon 是由3个部分组成的： keeper：他负责管理PostgreSQL的实例汇聚到由sentinel(s)提供的clusterview。 sentinel：it负责发现并且监控keeper，并且计算最理想的clustervie...阅读全文
文出处：gRPC gRPC分享 概述 gRPC 一开始由 google 开发，是一款语言中立、平台中立、开源的远程过程调用(RPC)系统。 在 gRPC 里客户端应用可以像调用本地对象一样直接调用另一台不同的机器上服务端应用的方法，使得您能够更容易地创建分布式应用和服务。与许多 RPC 系统类似，gRPC 也是基于以下理念：定义一个服务，指定其能够被远程调用的方法（包含参数和返回类型）。在服务端实现这个接口，并运行一个 gRPC 服务器来处理客户端调用。在客户端拥有一个存根能够像服务端一样的方法。 image 特性 基于HTTP/2 HTTP/2 提供了连接多路复用、双向流、服务器推送、请求优先级、首部压缩等机制。可以节省带宽、降低TCP链接次数、节省CPU，帮助移动设备延长电池寿命等。gR...阅读全文
1.moby/moby docker的新马甲 2.kubernetes/kubernetes 分布式容器管理 3.grafana/grafana 一个可视化面板，有漂亮的仪表盘，多种数据来源，适合做系统监控 4.coreos/etcd 集群共享信息，服务与发现 5.astaxie/beego 一个快速开发Go应用的http框架 6.gin-gonic/gin 同上 7.prometheus/prometheus 系统监控和报警工具 8.drone/drone 用于CD(Continuous Delivery) 9.mattermost/mattermost-server 类似slack或者钉钉 10.nsqio/nsq 类似rabbitmq，首选kafka? 11.containous/tr...阅读全文
今天遇到了一个小坑：使用etcdv3的时候，报了这么一堆错误# github.com/coreos/etcd/clientv3/balancer/resolver/endpointvendor\github.com\coreos\etcd\clientv3\balancer\resolver\endpoint\endpoint.go:114:78: undefined: resolver.BuildOptionvendor\github.com\coreos\etcd\clientv3\balancer\resolver\endpoint\endpoint.go:182:31: undefined: resolver.ResolveNowOption# github.com/coreos/e...阅读全文
## FEATURED [Awesome Go LibHunt: Curated Go Tools and Libraries](https://go.libhunt.com/?utm_source=studygolang&utm_medium=email) Hundreds of Go resources (mostly libraries and tools hosted on GitHub) organized into categories and sorted by ‘popularity score’. [Go 1.7 Observed Performance Changes](https://groups.google.com/d/msg/golang-dev/n...阅读全文
因为试了很多方法都没能成功的使用go get，最后试出了这一个方法。 国内，请架梯子，全局，下面以这个方法进行。当然如果你有足够的耐心，git clone应该也是可以的，但我没有这个胆量，毕竟一个go get就已经拉下来300+MB的代码，具体有几个库我没数。 把GOPROXY改回来默认的：export GOPROXY= 在执行go get前，我已经把第三方库全清了，如果你没有清，请加参数-u 第一次执行go get 执行命令go get -v github.com/micro/micro 耐心等候...（下面是我跑命令的结果） [yangzhao@yangzhaodeMacBook-Pro:] ~/Dev/Gopath/src $go get -v github.com/micro/mic...阅读全文
