Golang protobuf

基础知识可以参考
Protobuf 以及在Laya中的使用
protoc2 与 protoc3 区别
Golang gob与rpc简介

一、安装

参考golang使用protobuf插件
1.protoc
protoc是protobuf文件（.proto）的编译器，可以借助这个工具把 .proto 文件转译成各种编程语言对应的源码，包含数据类型定义、调用接口等。

通过查看protoc的源码（参见github库）可以知道，protoc在设计上把protobuf和不同的语言解耦了，底层用c++来实现protobuf结构的存储，然后通过插件的形式来生成不同语言的源码。可以把protoc的编译过程分成简单的两个步骤：

• 解析.proto文件，转译成protobuf的原生数据结构在内存中保存；
• 把protobuf相关的数据结构传递给相应语言的编译插件，由插件负责根据接收到的protobuf原生结构渲染输出特定语言的模板。

源码中（参见github库）包含的插件有 csharp、java、js、objectivec、php、python、ruby等多种。

在https://github.com/google/protobuf/releases下载protoc-3.7.0-win64.zip解压后，将bin文件夹下的protoc.exe复制到GOPATH/bin下即可（放这个目录是因为，我们的GOROOT在配置GoLang环境的时候，GoLang已经帮我们设置好了环境变量，如果你要放其他目录，那么要自己去设置环境变量）。

2.protoc-gen-go

protoc-gen-go是protobuf编译插件系列中的Go版本。从上一小节知道原生的protoc并不包含Go版本的插件

由于protoc-gen-go是Go写的，所以安装它变得很简单，只需要运行 go get -u github.com/golang/protobuf/protoc-gen-go，便可以在$GOPATH/bin目录下发现这个工具。

如果获取不到的话 可以自己去gitbub上面 clone或是下载 地址：连接地址
记得下载后要复制到github.com/golang这个目录下，然后进行手动安装

go install github.com\golang\protobuf\protoc-gen-go

之后会在bin文件夹里面生成protoc-gen-go.exe，把protoc-gen-go.exe也放到%GOROOT%一起

3.生成
可以通过下面的命令来使用protoc-gen-go了。比如我们新建一个testCui.proto，然后执行protoc ./testCui.proto --go_out ./就会生成一个testCui.pb.go文件。

我们可以修改命令来指定proto文件目录，且可以控制生成go文件的位置。进入cmd 执行protoc --proto_path=你proto文件的目录 --go_out=生成go文件的目录 你的proto文件.proto。这样就可以指定你的proto文件就可以放在任意地方了，包括可以直接在项目里面生成的go文件 不过每次都要进入cmd执行这这么麻烦命令也是很烦的，最后我还是写了bat文件
只要在这个bat文件同目录下创建一个protos文件夹来存放proto文件后，双击bat就会自动帮你生成go文件到同目录下的pb目录下。

最后放上bat，当然如果你的protoc.exe 不是放在%GOROOT%目录的话，只需要稍微修改下bat里面protoc的路径也是可以用的

@echo off
set PATH=%~dp0
set PROTOC=%GOROOT%bin\protoc.exe
set PROTO_PATH=%PATH%protos
set GO_PATH=%PATH%pb
echo PROTOC:%PROTOC%
echo PATH:%PATH%
echo PROTO_PATH:%PROTO_PATH%
echo GO_PATH:%GO_PATH%

if exist %GO_PATH% (
echo %GO_PATH% 文件夹已存在
for /f "delims=" %%i in ('dir /b "%GO_PATH%\*.go"') do (
echo 删除文件%%i
del %GO_PATH%\%%i
)
) else (
echo 创建文件夹%%i
md pb %PATH%
)

for /f "delims=" %%i in ('dir /b "%PROTO_PATH%\*.proto"') do (
echo 生成%%i
%PROTOC% --proto_path=%PROTO_PATH% --go_out=%GO_PATH% %%i
)
pause

二、实例

参考golang 使用 protobuf 的教程，但是我生成的testCui.pb.go文件有一些XXX字段，然后Phone那个初始化就不行，但是Person可以

type Phone struct {
    Type                 PhoneType `protobuf:"varint,1,opt,name=type,proto3,enum=testpb.PhoneType" json:"type,omitempty"`
    Number               string    `protobuf:"bytes,2,opt,name=number,proto3" json:"number,omitempty"`
    XXX_NoUnkeyedLiteral struct{}  `json:"-"`
    XXX_unrecognized     []byte    `json:"-"`
    XXX_sizecache        int32     `json:"-"`
}

type Person struct {
    Id                   int32    `protobuf:"varint,1,opt,name=id,proto3" json:"id,omitempty"`
    Name                 string   `protobuf:"bytes,2,opt,name=name,proto3" json:"name,omitempty"`
    Phones               []*Phone `protobuf:"bytes,3,rep,name=phones,proto3" json:"phones,omitempty"`
    XXX_NoUnkeyedLiteral struct{} `json:"-"`
    XXX_unrecognized     []byte   `json:"-"`
    XXX_sizecache        int32    `json:"-"`
}

所以只能改成这样：

    p1 := &testpb.Person{

        Id: 1,

        Name: "小张",

        Phones: []*testpb.Phone{

            {testpb.PhoneType_HOME, "111111111", struct{}{}, nil, 0},

            {testpb.PhoneType_WORK, "222222222", struct{}{}, nil, 0},
        },
    };

然后就可以编码解码了：

    //创建地址簿
    book := &testpb.ContactBook{};
    book.Persons = append(book.Persons, p1);
    book.Persons = append(book.Persons, p2);
    //编码数据
    data, _ := proto.Marshal(book);
    //把数据写入文件
    ioutil.WriteFile("./test.txt", data, os.ModePerm);
}

func read() {
    //读取文件数据
    data, _ := ioutil.ReadFile("./test.txt");
    book := &testpb.ContactBook{};
    //解码数据
    proto.Unmarshal(data, book);
    for _, v := range book.Persons {
        fmt.Println(v.Id, v.Name);
        for _, vv := range v.Phones {
            fmt.Println(vv.Type, vv.Number);
        }
    }

三、gogoprotobuf

参考golang使用protobuf
在go中使用protobuf，有两个可选用的包goprotobuf（go官方出品）和gogoprotobuf。gogoprotobuf完全兼容google protobuf，它生成的代码质量和编解码性能均比goprotobuf高一些。

gogoprotobuf有两个插件可以使用

• protoc-gen-gogo：和protoc-gen-go生成的文件差不多，性能也几乎一样(稍微快一点点)
• protoc-gen-gofast：生成的文件更复杂，性能也更高(快5-7倍)

在官网上可以看到：
Getting Started
There are several ways to use gogoprotobuf, but for all you need to install go and protoc. After that you can choose:

• Speed
• More Speed and more generated code
• Most Speed and most customization

1.Speed

Install the protoc-gen-gofast binary

go get github.com/gogo/protobuf/protoc-gen-gofast

Use it to generate faster marshaling and unmarshaling go code for your protocol buffers.

protoc --gofast_out=. myproto.proto

This does not allow you to use any of the other gogoprotobuf extensions.

2.More Speed and more generated code

Fields without pointers cause less time in the garbage collector. More code generation results in more convenient methods.

Other binaries are also included:

protoc-gen-gogofast (same as gofast, but imports gogoprotobuf)
protoc-gen-gogofaster (same as gogofast, without XXX_unrecognized, less pointer fields)
protoc-gen-gogoslick (same as gogofaster, but with generated string, gostring and equal methods)

Installing any of these binaries is easy. Simply run:

go get github.com/gogo/protobuf/proto
go get github.com/gogo/protobuf/{binary}
go get github.com/gogo/protobuf/gogoproto

3.Most Speed and most customization

Customizing the fields of the messages to be the fields that you actually want to use removes the need to copy between the structs you use and structs you use to serialize. gogoprotobuf also offers more serialization formats and generation of tests and even more methods.

Please visit the extensions page for more documentation.

Install protoc-gen-gogo:

go get github.com/gogo/protobuf/proto
go get github.com/gogo/protobuf/jsonpb
go get github.com/gogo/protobuf/protoc-gen-gogo
go get github.com/gogo/protobuf/gogoproto

4.安装
按照上面的说明，我想试试gogofaster，里面有描述without XXX_unrecognized。在第二部分使用官方库时，生成的这个XXX_属性，在初始化时很烦。
(1)go get -u github.com/gogo/protobuf/proto 这一步特别慢，差点强行关掉了。
(2)go get -u github.com/gogo/protobuf/protoc-gen-gogofaster
(3)go get github.com/gogo/protobuf/gogoproto
然后就能看到bin下面多了一个protoc-gen-gogofaster.exe了。
使用protoc .\testCui.proto --gogofaster_out ./导出新的go文件，果然那一堆XXX不见了，然后之前的main文件可以直接运行。当然把import中的"github.com/golang/protobuf/proto"改成"github.com/gogo/protobuf/proto"也是可以的，使用下面的基准测试发现性能差不多啊，目前还不确定两者的区别。

package test

import (
    //"github.com/golang/protobuf/proto"
    "github.com/gogo/protobuf/proto"
    "fmt"
    "testing"
    "testpb"
)

func BenchmarkPbMarshal(b *testing.B) {
    p1 := &testpb.Person{
        Id:   1,
        Name: "小张",
        Phones: []*testpb.Phone{
            {testpb.PhoneType_HOME, "111111111"},
            {testpb.PhoneType_WORK, "222222222"},
        },
    };
    p2 := &testpb.Person{
        Id:   2,
        Name: "小王",
        Phones: []*testpb.Phone{
            {testpb.PhoneType_HOME, "333333333"},
            {testpb.PhoneType_WORK, "444444444"},
        },
    };

    //创建地址簿
    book := &testpb.ContactBook{};
    book.Persons = append(book.Persons, p1);
    book.Persons = append(book.Persons, p2);
    //fmt.Println("book",*book)

    b.ResetTimer()
    for i := 0; i < b.N; i++ {
        _, err := proto.Marshal(book);
        if(err != nil){
            fmt.Println("marshal error")
        }
    }
}