基于Go实现的分布式MQ 2015-09-14 赵超 讲师：赵超(Beta版厨子3.0) 个人简介： 6年的Java开发经验、先后就职于淘宝Java中间件团队、腾讯无线媒体产品部。现就职于陌陌担任基础业务组主管。专注于分布式消息总线、LBS技术领域、golang在大规模生产换环境应用的探索。 今天交流的内容也是我上半年主要做的一个开源的MQ的项目，希望对大家有帮助 一、RPC与MQ之间对比 我们通常接触到的RPC同步调用的种类非常多比如fb 的thrift/阿里的dobbo 腾讯的taf、淘宝的hsf这类同步调用框架 从图里面可以看到作为一个业务完成后端要发生非常多的RPC通信 随着业务的复杂度提高，各服务间的依赖度也逐步加大，那么服务间的响应时间也就各有参差了 在一个请求链路上如果存在一个...阅读全文
Indexes and search engines These sites provide indexes and search engines for Go packages: godoc.org gowalker gosearch Sourcegraph Contributing To edit this page you must be a contributor to the go-wiki project. To get contributor access, send mail to adg@golang.org from your Google Account. Dead projects If you find a project in this list that is ...阅读全文
Thrift RPC 框架指南 认识Thrift框架 thrift是一个软件框架，用来进行可扩展且跨语言的服务的开发。它结合了功能强大的软件堆栈和代码生成引擎，以构建在 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, and OCaml 这些编程语言间无缝结合的、高效的服务。 thrift最初由facebook开发，07年四月开放源码，08年5月进入apache孵化器。 thrift允许定义一个简单的定义文件中的数据类型和服务接口，以作为输入文件，编译器生成代码用来方便地生成RPC客户端和服务器通信的无缝跨编程语言。 类似Thrift的工具，还有Av...阅读全文
之前c++服务器，是端游转过手游来的，在我不断的优化下，成功从c++98到c++11，以及32位到64位的转变，从端游服务器，转到手游服务器，上线人数单服1W+没太大压力。 go是我业余的时候接触到的，在现在大环境下，高并发和跨平台是现在开发游戏服务器的主流，之前那套c++说实在是够用，只要能达到那个量，单服性能极致，我只服c++。 skynet+lua，c底层，lua逻辑，我也过来过c++底层，lua逻辑，但实际效果是lua并不是我想要去写的，可能我对lua脚本不感兴趣。go做的事情和skynet做的大同小异，都是携程，抢占式g调度模式，go 有个goroutine和channel，skynet lua虚拟机。 当时设计go的时候，由于跟c++大轮子有点出路，c++是循环轮子模式，单...阅读全文
Go官方提供了一个RPC库: net/rpc。包rpc提供了通过网络访问一个对象的方法的能力。服务器需要注册对象， 通过对象的类型名暴露这个服务。注册后这个对象的输出方法就可以远程调用，这个库封装了底层传输的细节，包括序列化。服务器可以注册多个不同类型的对象，但是注册相同类型的多个对象的时候回出错。 我最近写了一本电子书: Go RPC开发指南,介绍Go RPC开发的相关技术，这是其中的一章，专门介绍官方库 net/rpc的使用。 同时，如果对象的方法要能远程访问，它们必须满足一定的条件，否则这个对象的方法回呗忽略。 这些条件是： 方法的类型是可输出的 (the method's type is exported) 方法本身也是可输出的 （the method is exported） 方法...阅读全文
使用consul实现分布式服务注册和发现 七 06 bigwhite技术志 Airbnb, cluster, consul, docker, etcd, Go, Golang, haproxy, hashicorp, json, raft, SmartStack, ZooKeeper, 分布式系统, 强一致性, 服务发现, 服务注册, 选主 No Comments Consul是HashiCorp公司推出的开源工具，用于实现分布式系统的服务发现与配置。与其他分布式服务注册与发现的方案，比如 Airbnb的SmartStack等相比，Consul的方案更“一站式”，内置了服务注册与发现框 架、分布一致性协议实现、健康检查、Key/Value存储、多数据中心方案，不再需要依赖其他工具（比如Zoo...阅读全文
什么是RPC 远程过程调用（Remote Procedure Call，缩写为 RPC）是一个计算机通信协议。 该协议允许运行于一台计算机的程序调用另一台计算机的子程序，而程序员无需额外地为这个交互作用编程。 如果涉及的软件采用面向对象编程，那么远程过程调用亦可称作远程调用或远程方法调用。维基百科：远程过程调用 用通俗易懂的语言描述就是：RPC允许跨机器、跨语言调用计算机程序方法。打个比方，我用go语言写了个获取用户信息的方法getUserInfo，并把go程序部署在阿里云服务器上面，现在我有一个部署在腾讯云上面的php项目，需要调用golang的getUserInfo方法获取用户信息，php跨机器调用go方法的过程就是RPC调用。 golang中如何实现RPC 在golang中实现RPC非...阅读全文
RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。 它的工作流程如下图： golang 使用 RPC的例子如下： 服务器端代码： 这里暴露了一个RPC接口，一个HTTP接口 package main import ( "fmt" "io" "net" "net/http" "net/rpc" ) type Watcher int func (w *Watcher) GetInfo(arg int, result *int) error { *result = 1 return nil } func main() { http.HandleFunc("/ghj1976", Gh...阅读全文
前言 Golang作为我们服务端开发的主要语言，实现了很多基础服务，比如oauth2，账户系统，支付，客服等。而在早期开发阶段，也尝试使用golang做页面展示，但每种语言都有自己最擅长的领域，让golang来搞前端实在是有点疼，最终我们选择php+golang的方式来作为整体的服务架构。 那么问题来了，php和golang这对好基友如何愉快的玩耍呢？结论是thrift是块好肥皂！ 抛砖 市面上肥皂一大堆，最著名的是舒肤佳，那么我们为毛不用舒肤佳，而选择thrift呢。。。因为够酸爽！ 这种酸爽，只有牙口好，才能吃嘛嘛香。众所周知，thrift有多种型号(传输协议)，比如家用型的TDebugProtocol，持久型TBinaryProtocol还有爆炸型TCompactProtocol。 而...阅读全文
4月22日, B站部分后台源代码因为某愤怒的员工, 被上传至Github. 本文我们不讨论安全, 法律 (根据代码漏洞, 去恶意攻击或者获利是违法的! 我们工作时也要注意代码安全), 我仅从开发者的角度谈谈, 这份代码我们能学到什么? B站Golang生态建设, 代码规范, 工具建设, 技术栈选择, 对于Go在部门或公司的推广又有哪些值得借鉴? 首先必须得说, B站这份代码整体还是不错的, 不是说组件或者基础库多么的厉害, 而是从整体目录分布, 业务代码分布, API易用性, 业务代码风格, 工具的统一, 上手难度上来评价. 这里是一个小小的总结. 约329个Go服务, 历史约170人左右贡献过Go代码. 代码和目录规范性比较好, 代码生成工具建设比较好, 大家可以借鉴一下. 对于一个Gol...阅读全文
360消息系统介绍 360消息系统更确切的说是长连接push系统，目前服务于360内部多个产品，开发平台数千款app，也支持部分聊天业务场景，单通道多app复用，支持上行数据，提供接入方不同粒度的上行数据和用户状态回调服务。 目前整个系统按不同业务分成9个功能完整的集群，部署在多个idc上（每个集群覆盖不同的idc），实时在线数亿量级。通常情况下，pc，手机，甚至是智能硬件上的360产品的push消息，基本上是从我们系统发出的。 关于push系统对比与性能指标的讨论 很多同行比较关心go语言在实现push系统上的性能问题，单机性能究竟如何，能否和其他语言实现的类似系统做对比么？甚至问如果是创业,第三方云推送平台，推荐哪个? 其实各大厂都有类似的push系统，市场上也有类似功能的云服务。包括我...阅读全文
通过各方资料了解学习之后，决定自己开始搭建基于以太坊go-ethereum的私有链环境。由于本人的电脑系统为win8，为避免window环境出现过多莫名其妙的问题，特意通过vm搭建了一台ubuntu16.04版本的虚拟系统。以下内容均基于ubuntu16.04系统。 go-ethereum客户端 下载地址&参考手册 首先，可以查看一下go-ethereum项目在git上的地址： https://github.com/ethereum/Go-ethereum 、 可以在点击项目上的wiki标签，也可以通过一下地址访问wiki： https://github.com/ethereum/Go-ethereum/wiki/Building-Ethereum 在wiki页面选择ubuntu系统的安装说...阅读全文
前置条件： 获取 gRPC-go 源码 $ go get google.golang.org/grpc 简单例子的源码位置： $ cd $GOPATH/src/google.golang.org/grpc/examples/helloworld 复杂些例子的源码位置： $ cd $GOPATH/src/google.golang.org/grpc/examples/route_guide 写一个gRPC的服务，一般分下面几步： 在一个 .proto 文件内定义服务。 用 protocol buffer 编译器生成服务器和客户端代码。 使用 gRPC 的 Go API 为你的服务实现一个简单的客户端和服务器。 定义服务 在一个 .proto 文件中定义服务 简单的例子服务定义在： exampl...阅读全文
每种语言都有自己最擅长的领域，Golang 最适合的领域就是服务器端程序。 做为服务器端程序，需要考虑性能同时也要考虑与各种语言之间方便的通讯。采用http协议简单，但性能不高。采用TCP通讯，则需要考虑封包、解包、粘包等等很多因素，而且想写个高效的TCP服务，也很难。 其实，对于此类需求，采用RPC（Remote Procedure Call Protocol）编程最靠谱。使用 RPC 编程被认为是在分布式环境中运行的客户机和服务器应用程序之间进行可靠通信的最强大、最高效的方法之一。 Golang内置了对RPC支持，但只能适用于go语言程序之间调用，且貌似序列化、反序列化性能不高。如果go语言能使用Thrift开发，那么就如虎添翼了。可惜，thrift虽然很早就包含了golang的代码，但...阅读全文
Thrift 简介： Thrift 是一款高性能、开源的 RPC 框架，产自 Facebook 后贡献给了 Apache，Thrift 囊括了整个 RPC 的上下游体系，自带序列化编译工具，因为 Thrift 采用的是二进制序列化，并且与 gRPC 一样使用的都是长连接建立 client 与 server 之间的通讯，相比于比传统的使用XML，JSON，SOAP等短连接的解决方案性能要快得多。本篇只介绍 Golang 关于 Thrift 的基础使用。 安装 安装 Thrift 的 Golang 库有两种方案： 直接通过 go get 命令安装，缺点是因为不可抗拒的网络因素大部分人可能会失败：$ go get git.apache.org/thrift.git/lib/go/thrift 通过...阅读全文
rpcx是一个类似阿里巴巴 [Dubbo](https://www.oschina.net/p/dubbo) 和微博 [Motan](https://www.oschina.net/p/motan-weibo) 的分布式的RPC服务框架，基于Golang net/rpc实现。 [](https://github.com/smallnest/rpcx/blob/master/_documents/throughput.png) [, multi-store, multi-member commodity,Promotions, orders, coupons implementation also includes a mini-framework in package "ops/cf", providing ORM, Reporting, Web Framework,Rpc Framework. # Deploy # ##...阅读全文
go-kit 入门 1. microservice Go-Kit go kit 是一个分布式的开发工具集，在大型的组织（业务）中可以用来构建微服务。其解决了分布式系统中的大多数常见问题，因此，使用者可以将精力集中在业务逻辑上。 2. go-kit 组件介绍 2.1 Endpoint（端点） Go kit首先解决了RPC消息模式。其使用了一个抽象的 endpoint 来为每一个RPC建立模型。 endpoint通过被一个server进行实现（implement），或是被一个client调用。这是很多 Go kit组件的基本构建代码块。 2.2 Circuit breaker（回路断路器） Circuitbreaker（回路断路器） 模块提供了很多流行的回路断路lib的端点（endpoint）适...阅读全文
今日头条使用 Go 语言构建了大规模的微服务架构，本文结合 Go 语言特性着重讲解了并发，超时控制，性能等在构建微服务中的实践 编者按：本文来自微信公众号“InfoQ”（ID：infoqchina），作者项超；36氪经授权发布。 今日头条当前后端服务超过80%的流量是跑在 Go 构建的服务上。微服务数量超过100个，高峰 QPS 超过700万，日处理请求量超过3000亿，是业内最大规模的 Go 应用。 Go 构建微服务的历程 在2015年之前，头条的主要编程语言是 Python 以及部分 C++。随着业务和流量的快速增长，服务端的压力越来越大，随之而来问题频出。Python 的解释性语言特性以及其落后的多进程服务模型受到了巨大的挑战。此外，当时的服务端架构是一个典型的单体架构，耦合严重，部分...阅读全文
前言在微服务流行的当下，bilibili（B站）也在业务快速增长的压力下，对历史系统进行了不断的优化，在所谓“大系统小做”的背后付出了挺多的努力，尤其是 Go 作为开发语言的整体运维的支撑相对比较薄弱，例如开发、部署、测试、集成、监控，调试等。在 GopherChina 2017大会上，B 站技术总监毛剑分享了微服务化道路上踩的“坑”以及最终演进后对整个微服务框架的思考。本次演讲的内容会包含以下几块：1.B站微服务的演进过程；2.高可用；3.中间件；4.持续集成和交付；5.运维体系。作者介绍2015年起，在 bilibili（B站）负责 UGC平台和基础架构，开发了直播弹幕开源推送服务 goim ，B站分布式存储 BFS ，引导开发了B站 cache proxy，bili twemproxy...阅读全文
关于如何使用golang调用rpc和json-rpc，网上虽然有很多的帖子，但都仅仅是golang程序间通信，没有牵涉到跨语言调用的问题。在使用golang开发服务端程序的时候，不可避免的要与其他语言的程序进行交互，特别是json-rpc这的协议，本身就应该是用在不同的平台间的调用上的（因为golang程序间的交流已经有了封闭的用gob编码解码的rpc包了，我们自然而言的会想到用json-rpc来提供对其他语言的支持）。本文就来详细探究一下如何实现golang与java之间的json-rpc调用。 首先，实现一个基于socket的java调用golang的样例（这个方法不需要第三方golang库，但是仅能通过tcp协议通信。如果要通过http协议通信的话，必须自己写一个或者用第三方的库，后面...阅读全文
网络编程 socket,http,rpc,json处理 前端是Web+移动，后端是Linux(命令行centos)+开源 http编程 服务器和客户端(浏览器也是客户端) socket编程 rpc编程 ------------------------------------------------------------------------------server.go package main //服务端开发，特别是Web开发，基本上全是处理HTTP请求的处理。 //根据具体用途分为两种：Web页面开发和API接口开发。 //Web页面开发也完全可以看成是API接口开发，只是它的两个主要部分， //页面和ajax请求，一个是返回html，另外一个可以返回html，也可以返回其他格式的而...阅读全文
介绍micro Micro is a microservice toolkit. Its purpose is to simplify distributed systems development.github地址Go Micro is a pluggable RPC framework for microservices. It is part of the Micro toolkit. github地址 使用go-micro简易搭建一个服务端 安装并运行consul，consul是一个服务发现软件。micro依赖于服务发现机制安装：Consul is the default registry/discovery for go-micro apps. It's however plugg...阅读全文
本书针对Go语言有一定经验，想深入了解Go语言各种高级用法的开发人员。  [第一章 语言基础](https://github.com/chai2010/advanced-go-programming-book/blob/master/ch1-basic/readme.md) [1.1. Go语言创世纪](https://github.com/chai2010/advanced-go-programming-book/blob/master/ch1-basic/ch1-01-genesis.md...阅读全文
常见的 Web 应用的压力测试工具 Web 应用压力测试工具有很多，比如 Apache ab，node-ab，Apache JMeter, LoadRunner, httperf。但是这些工具都没能解决一个问题： 如何正确模拟生产环境的流量 如今 Web 应用的架构变得非常复杂，内部包含复杂的各种负载均衡、 服务和 RPC 调用关系，简单的发送 GET 请求到某些 URL 或者 API 接口完全无法模拟真实的流量。假如回放 HTTP 日志，操作又异常麻烦。Tcpcopy 虽然能够复制实时流量，但是操作也很复杂。之前的 亚马逊云平台的迁移 就用到了 Gor 这个工具。 Gor 是 Web 应用压力测试的完美方案 我一直在找一个简单又方便的解决方案，直到找到了 Gor 。Gor 是用 Golan...阅读全文
自： http://www.dongliu.net/post/622450 Google 刚刚开源了grpc, 一个基于HTTP2 和 Protobuf 的RPC 实现。 Protobuf 本身虽然提供了RPC 的定义语法，但是一直以来，Google 只开源了Protobuf 序列化反序列化的代码，而没有开源RPC 的实现，于是存在着众多良莠不齐的第三方RPC 实现。 从实现和特性看来，grpc 更多的是考虑移动场景情况下客户端和服务端的通信，正如其自称的「general RPC framework that puts mobile and HTTP/2 first」。HTTP2 本身提供了连接多路复用、Body 和 Header 压缩等机制，grpc 基于此可以提供比较高效的实现。 grp...阅读全文
Go语言类库中，有两个官方的服务器框架，一个HTTP，一个是RPC。使用这个两个框架，已经能解决大部分的问题，但是，也有一些需求，这些框架是不够的，这篇文章，我们先分析一下HTTP 和 RPC服务器的特点, 然后结合这两个服务器的特点，我实现了一个新的服务器，这个服务器非常适合客户端和服务器端有大量交互的情况。 HTTP服务器的特点： HTTP的请求 和 响应的周期如下： 对于一个HTTP 长连接，一个请求必须等到一个响应完成后，才能进行下一个请求。这就是http协议最本质的特点，是串行化的。而这个特点保证了http协议的简洁性，一个请求中间不会插入其他的请求干扰，这样不需要去对应请求和响应。但是，同时也有个弱点，那就是不适合做大量的请求。举个实际中我们遇到的例子，我们要把大量的中国客户的订...阅读全文
Go语言标准库能够自带一个rpc框架还是非常给力的，这可以很大程度的降低写后端网络通信服务的门槛，特别是在大规模的分布式系统中，rpc基本是跨机器通信的标配。rpc能够最大程度屏蔽网络细节，让开发者专注在服务功能的开发上面。下面介绍Go语言rpc框架的客户端内部实现. Go rpc客户端的逻辑很简单，大体上，就是将一个个的调用请求序列化后原子的发送给服务器，然后有一个专门的gorutine等待服务器应答，这个goroutine会将收到的每个应答分发给对应的请求，这就完成了一次rpc调用。 调用入口 func NewClient(conn io.ReadWriteCloser) *Client func (client *Client) Call(serviceMethod string, a...阅读全文
the way to go的$19.8和$19.9里面的demo：goto_5 $go version go version go1.1.2 darwin/amd64 $./goto_v5 -http=:8081 -rpc=true //启动master的时候,会显示下面一行提示: 2014/12/02 22:36:29 method Count has wrong number of ins: 1 func (s *URLStore) Put(url, key *string) error { for { *key = genKey(s.Count()) if err := s.Set(key, url); err == nil { break } } if s.save != nil {...阅读全文
goland 游戏服务器架构，mmo架构，ai行为树，配置data 设计之初，建立在actor模式下的；rpc，以及消息驱动，rpc无需注册，支持int，数据，struct（struct必须要注册结构题即可）；sql封装简单的orm，具体看demo websocket模式下，要在net，websocket注视掉如下代码：https://studygolang.com/articles/14842 1.配置golang的gopath和goroot 2.bin目录下的sxz_server.cfg配置数据库以及端口 3.数据库在sql文件目录下生产 4.win下执行build.bat,start.bat 5.linux下执行build.sh,start...阅读全文
一、RPC编程 参考资料<
看官们肯定还有大部分不是很熟悉Actor模型. 我这里基于Erlang, Skynet等语言和框架库来实战型解释下Actor模型. Actor概念 Actor模型和OO类似, 都是符合人的思维模式进行编码. OO里啥都是类, 用类来模拟对象, 解决所有的问题. Actor类似的使用Actor来模拟处理对象和单元 Actor在Erlang中叫进程(非操作系统进程), 在Skynet中叫svc(服务) Mailbox消息队列 每个Actor中包含有一个mailbox, 也就是邮箱. Actor自己只能通过收发mailbox与外界进行沟通, 也就是说, Actor之间只能通过消息进行互相交流, 不能采用其他形式. mailbox本身是一个顺序队列, 先进先出. 而且mailbox从理论上说没有上限...阅读全文
[Gorilla web toolkit](http://www.gorillatoolkit.org/) 提供了好几个Golang Web开发工具，本站就使到了一些，很不错。 工具列表： - [gorilla/context](http://www.gorillatoolkit.org/pkg/context) stores global request variables. - [gorilla/mux](http://www.gorillatoolkit.org/pkg/mux) is a powerful URL router and dispatcher. - [gorilla/reverse](http://www.gorillatoolkit.org/pkg/r...阅读全文
这两天因为工作需要查了一些跨语言的rpc接口。我这里指的是包含序列化和tcp交互的。 主要查了一下以下三类： 1.ICE 这玩意不支持go，直接放弃。 2.GRPC,这玩意刚刚发布，还且全面使用C++11特性，我们生产环境目前还没升级，他依赖于protobuf 3.0.0版本，这个还是beta版，拿过来编译了下，依赖google的gmock。我的虚拟机上连不上去，只能暂时作罢。 3.Thrift，这个从0.9.1 就开始完美（官方）支持go语言了，那就拿这个操刀吧。 注：C++测试环境ubuntu12.04LTS 内核 3.2.0-23 GCC版本4.6.3 Go就在win7笔记本上跑的。 第一件事安装thrift，从官网下载最新thrift0.9.2版本。 编译安装参考 http://my...阅读全文
这篇完成得太折腾了，为了更好的展示benchmark的一系列结果数据，我必须得找个软件将数据进行图表化。以前在windows上基本都用execel画曲线图、柱状图等，但在linux/mac上却找不到顺手的工具了。我也使用过gnuplot，这货不知道是太专业，还是太古老的原因，始终用得不顺手、不开心。于是，我就决定自己先用Go和chart.js库折腾了一个goplot工具来绘制图表，然后再才开始写这篇博客。 有人可能会说我又在折腾轮子了，确实是折腾了一个轮子。话说，这又怎么样呢？作为一个程序员，最大的优势就是自己用得不开心的工具，可以自己动手完善、甚至写一个新的。我认为一个geek程序员首先就是要学会不断的装备自己的工具库。不扯废话了，回归正题。 测试维度 这次benchmark主要以下两个维...阅读全文
GRPC是一个高性能、通用的开源RPC框架，其由Google主要面向移动应用开发并基于HTTP/2协议标准而设计，基于ProtoBuf(ProtocolBuffers)序列化协议开发，且支持众多开发语言。gRPC提供了一种简单的方法来精确地定义服务和为iOS、Android和后台支持服务自动生成可靠性很强的客户端功能库。客户端充分利用高级流和链接功能，从而有助于节省带宽、降低的TCP链接次数、节省CPU使用、和电池寿命。 1 安装 go get google.golang.org/grpc 2 创建helloworld.proto syntax = "proto3"; option java_package = "io.grpc.examples"; package helloworld; ...阅读全文
简介近一两年来，微服务架构已经成为热门话题（microservices.io)，与传统的一体化应用架构相比，微服务架构在开发、测试、部署方面都有众多吸引人之处，越来越多没有历史包袱的新项目都启用微服务架构的模式来开发。我们这个团队经过深入思考之后，决定在一起美这个APP的后端开发中，选择Go作为开发语言，采用微服务模式来实现，经过近半年的实践，形成了一些心得，简单总结后分享出来，希望能够给大家一些帮助。框架选择不同的团队在选择基础框架（库）时考虑的要素不同，我们团队更喜欢小而美的框架，尽可能不要让框架侵入业务，易于升级、维护和替换，所以我们更愿意选择Library而不是Framework。在web方面，我们选择了negroni作为middleware库，采用性能不错的httprouter替换...阅读全文
golang的rpc有两种方法进行调用，一种是rpc例子中给的：package main import ( "net/rpc" "net/http" "log" "net" "time" ) type Args struct { A, B int } type Arith int func (t *Arith) Multiply(args *Args, reply *([]string)) error { *reply = append(*reply, "test") return nil } func main() { arith := new(Arith) rpc.Register(arith) rpc.HandleHTTP() l, e := net.Listen("tcp", ":1...阅读全文
mac 下编译其他平台的执行文件方式请参看这篇文章，http://www.cnblogs.com/ghj1976/archive/2013/04/19/3030703.html 本篇文章是win下的跨平台编译。 安装GCC编译器（MinGW） 我们需要GCC编译环境,这里我选择的是：MinGW。 mac 下安装了Xcode自动就带了GCC，win下没有，所以我们用MinGW这个最小化安装的GCC。 MinGW官网提供了一种自动在线下载安装的gui小程序，http://sourceforge.net/projects/mingw/files/Installer/mingw-get-inst/ 。这个程序只需要简单的一步步跟着提示，就会自动下载每个组件的最新版本并且安装在电脑里面。 安装完成后，...阅读全文
服务端收到client发送的Http数据后怎么解析成具体的Request对象呢？下面来看看golang是如何处理的 首先看一个具体应用实例：仅仅包含HTTP里面的Method,URL和Proto package main import ( "bufio" "fmt" _ "io" "net/http" "net/textproto" "strings" ) func main() { request() } //当然这个实例比较简单，仅仅是通过\n来解析出几个字段而已 func request() { paths := "/xxx" br := bufio.NewReader(strings.NewReader("GET " + paths + " HTTP/1.1\r\nHost: tes...阅读全文
标准库的RPC RPC是远程调用的简称, 简单的说就是要像调用本地函数一样调用服务器的函数. Go语言的标准库已经提供了RPC框架和不同的RPC实现. 下面是一个服务器的例子: type Echo int func (t *Echo) Hi(args string, reply *string) error { *reply = "echo:" + args return nil } func main() { rpc.Register(new(Echo)) rpc.HandleHTTP() l, e := net.Listen("tcp", ":1234") if e != nil { log.Fatal("listen error:", e) } http.Serve(l, nil) }...阅读全文
GoWorld游戏服务器引擎简介GoWorld是一款开源的分布式可扩展的游戏服务器引擎，使用Go语言（Golang）编写。它采用类似BigWorld的结构，使用了简化的场景-对象框架。以一个典型的MMORPG为例，每个服务器上会有多个场景，每个场景里可以包含多个对象，这些对象包括玩家、NPC、怪物等。GoWorld服务器可以将场景分配到在不同的进程甚至不同的机器上，从而使得游戏服务器的负载是可扩展的。开源分布式游戏服务器引擎：https://github.com/xiaonanln/goworld，欢迎赏星，共同学习聊天室是游戏里非常常见的一个功能，例如一个MMORPG游戏里会有世界聊天室、职业聊天室、帮派聊天室等。GoWorld为此提供了非常简单且高效率的支持，使得开发者可以轻松实现分布式...阅读全文
简介 近一两年来，微服务架构已经成为热门话题（microservices.io)，与传统的一体化应用架构相比，微服务架构在开发、测试、部署方面都有众多吸引人之处，越来越多没有历史包袱的新项目都启用微服务架构的模式来开发。 我们这个团队经过深入思考之后，决定在一起美这个APP的后端开发中，选择Go作为开发语言，采用微服务模式来实现，经过近半年的实践，形成了一些心得，简单总结后分享出来，希望能够给大家一些帮助。 框架选择 不同的团队在选择基础框架（库）时考虑的要素不同，我们团队更喜欢小而美的框架，尽可能不要让框架侵入业务，易于升级、维护和替换，所以我们更愿意选择Library而不是Framework。 在web方面，我们选择了negroni作为middleware库，采用性能不错的httprou...阅读全文
Google gRPC 简介 1. 简介 Google 刚刚开源了grpc, 一个基于HTTP2 和 Protobuf 的RPC 实现。 其中github地址： https://github.com/grpc/grpc Protobuf 本身虽然提供了RPC 的定义语法，但是一直以来，Google 只开源了Protobuf 序列化反序列化的代码，而没有开源RPC 的实现，于是存在着众多良莠不齐的第三方RPC 实现。 从实现和特性看来，grpc 更多的是考虑移动场景情况下客户端和服务端的通信，正如其自称的「general RPC framework that puts mobile and HTTP/2 first」。HTTP2 本身提供了连接多路复用、Body 和 Header 压缩等机制，...阅读全文
package main import ( "github.com/streadway/amqp" "log" "net" "net/rpc" "net/rpc/jsonrpc" "os" "time" ) type MPMsg struct { } func (mpMsg *MPMsg) Handle(args *map[string]interface{}, reply *map[string]interface{}) error { *reply = map[string]interface{}{} return nil } func main() { lf, _ := os.OpenFile("/var/log/"+time.Now().Format("2006-01-02T15:0...阅读全文
Terry-Mao/gopush-cluster 是一个支持集群的comet服务（支持websocket，和tcp协议）。 特性 轻量级高性能纯Golang实现支持消息过期支持离线消息存储支持单个以及多个私信推送支持单个Key多个订阅者（可限制订阅者最大人数）心跳支持（应用心跳和tcp keepalive）支持安全验证（未授权用户不能订阅）多协议支持（websocket，tcp）详细的统计信息可拓扑的架构（支持增加和删除comet节点，web节点，message节点）利用Zookeeper支持故障转移 安装(版本1.0.5) 一、安装依赖 ? 1 2 $ yum -y install java-1.7.0-openjdk $ yum -y install gcc-c++ 二、搭建zookee...阅读全文
说到rpc让我想起了刚毕业面试的时候，被问到是否了解rpc？我记得当时我的回答是“课本上学过rpc，只知道是远程过程调用，但没有用过，具体也不知道是什么”。的确，大学中间件这门课程里有讲到rpc，里面还引入了一个非常难理解的概念——“桩”，英文应该叫”stub”。现在的rpc实现里，stub这个概念好像都没见到了，应该都是叫”method”。 实现一个rpc服务器很难吗？rpc服务器也就是在tcp服务器的基础上加上自定义的rpc协议而已。一个rpc协议里，主要有个3个非常重要的信息。 调用的远程method名字，一般就是一个函数名 call参数，也就是发送给服务器的数据 客户端生成的调用请求seq 除了最后一点，其他两点显然就是组成一个普通的函数调用而已，这也就是远程过程调用了。最后一点的s...阅读全文
对PHP语言来说，PHP使用memcache有两个模块，分别叫memcache和memcached，他们的区别看下表： 参考：http://hi.baidu.com/tony_wd/item/605e959241f87c8c59146164 对其他场景来说： Memcache是这个缓存项目（http://memcached.org/）的名称，而memcached是它服务器端的主程序文件名 。 memcached作者Brad Fitzpatrick（布莱德·菲兹派翠克）用Go开发了前者的替代版：groupcache（https://github.com/golang/groupcache）。 groupcache与memcached的相似之处： 通过key分片，并且通过key来查询响应的pee...阅读全文
什么是RPC？ RPC是Remote Procedure Call的缩写，从字面意思理解就是远程过程调用，具体可以见维基百科的解释，如果你英文足够好可以看这里wikipedia，我的理解可以简单的用一句话来描述：RPC就是一个本地程序可以通过网络调用远程的一个子程序。 Go RPC Go的RPC中如果客户端是Go语言编写的则将用Go特有的Gob序列化，同时可以选择rpc/jsonrpc包来用json格式序列化以便和其他的RPC System交互。 Go中的RPC有以下几个限制： 1.Remote Procedure必须是公共的，对于Go的话函数首字母必须大写。 2.Remote Procedure必须又且仅有两个参数，第一个参数是一个指向从客户端接受的数据指针，第二个参数是一个指向返回给客户...阅读全文
go jsonrpc 在实际项目中，我们经常会碰到服务之间交互的情况，如何方便的与远端服务进行交互，就是一个需要我们考虑的问题。 通常，我们可以采用restful的编程方式，各个服务提供相应的web接口，相互之间通过http方式进行调用。或者采用rpc方式，约定json格式进行数据交互。 在我们的项目中，服务端对用户客户端提供的是restful的接口方式，而在服务器内部，我们则采用rpc方式进行服务之间的交互。 go语言本来就提供了jsonrpc的支持，所以自然开始我们就直接使用jsonrpc。jsonrpc的使用非常简单，对于调用端来说，就如同一个函数调用，如下： args := &Args{7, 8} reply := new(Reply) err := client.Call("Ari...阅读全文
