golang专有的gob序列化性能分析

从火星来 · · 4513 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

为什么要分析gob序列化格式的性能

我自己编的一个单向同步软件(https://gitee.com/rocket049/mysync),混合了RPCHTTP服务器功能,利用RPC做控制功能,HTTP进行数据上传。最近我有意简化其构造,把其中的http上传功能也用RPC方式实现。但是我担忧会导致性能下降,因为通常对象序列化,将会导致数据量增加,例如JSON序列化后,二进制数据变成16进制数据,数据量倍增。因此我测试了gob序列化前后的体量变化。

测试方法

我编写了一个小程序,参数是输入文件,把这个文件转换为一个结构体,其中包含文件名(strring)和所有数据组成的数组([]byte),然后用golang标准库encoding/gob将这个结构体序列化后保存到另一个文件中,然后比较输入文件和输出文件的大小。

测试程序

下面是测试程序的源代码和用法:

import (
    "encoding/gob"
    "io/ioutil"
    "os"
)
type FileAll struct{
    Name string
    Cxt []byte
}
func main(){
    var fa1 FileAll
    var err error
    fa1.Name = os.Args[1]
    fa1.Cxt,err = ioutil.ReadFile( os.Args[1] )
    if err != nil{
        panic(err)
    }
    enc := gob.NewEncoder(os.Stdout)
    enc.Encode(fa1)
}

用法:gob1 输入文件 > 输出文件

测试结果

无论输入文件有多大,输出文件总是比输入文件大50个字节左右,考虑到保存结构体本身的格式信息的耗费,数据量几乎是不增加的。由此可见,gob序列化格式非常适合于网络传输。
基于这个结论,我修改了我程序,把上传文件的过程用RPC方式实现了类似操作系统的文件操作方式:CreateFile->WriteBytes->CloseFile。并且在把文件数据序列化之前,先把文件数据用gzip格式压缩存储在结构体中,进一步减少了对带宽的需求。


有疑问加站长微信联系(非本文作者)

本文来自:简书

感谢作者:从火星来

查看原文:golang专有的gob序列化性能分析

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

4513 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传