每天学习一点go src。 今天学习了zip包的简单使用，实现了含目录的压缩与解压。 写了两个方法，实现了压缩、解压。 package ziptest import ( "archive/zip" "io" "os" "strings" ) //压缩文件 //files 文件数组，可以是不同dir下的文件或者文件夹 //dest 压缩文件存放地址 func Compress(files []*os.File, dest string) error { d, _ := os.Create(dest) defer d.Close() w := zip.NewWriter(d) defer w.Close() for _, file := range files { err := compress...阅读全文
前言：本文主要介绍Golang的安装和Golang的编辑器的使用，以及我们的第一个经典案例：Hello World. 一、为什么是Golang Golang 又称为 Go，是由 Google 开发的一种开源的、编译型的、静态类型的编程语言。它具有以下特性： Go原生支持并发（Concurrency），因此非常适合编写多线程程序。 Golang 是编译型语言。源代码会被编译成可执行的二进制文件。 Go是静态类型的语言，它的类型系统没有层级。因此用户不需要在定义类型之间的关系上花费时间，这样感觉起来比典型的面向对象语言更轻量级。 二、Golang开发工具包的选择 我们可以根据自己的机器操作系统选择相应的开发工具包，比如你的是Windows 64位的，就选择windows-amd64的工具包；是L...阅读全文
func main() { size := 1 datasSlice := make([][]byte, size) for i := 0; i < size; i++ { datasSlice[i], _ = ioutil.ReadFile("images/" + strconv.Itoa(i+1) + ".jpg") fmt.Println("raw size:", strconv.Itoa(i)+".jpg :", len(datasSlice[i])) } var b bytes.Buffer w := gzip.NewWriter(&b) defer w.Close() for i := 0; i < size; i++ { w.Write(datasSlice[i]) } w.F...阅读全文
最近想学习下Go语言，先从最基本的Hello Go开始，搭建Go开发环境 一、下载Go包 由于Go官网国内访问经常有问题，可以从国内的镜像下载： http://www.golangtc.com/ 二、配置环境变量 1、将Go的压缩包解压到任意目录，我的为D:\SDE\go 2、 配置GoRoot路径 3、配置Path路径 4、配置Go程序工作目录GOPATH 配置完成以上环境变量后，我们可以在命令行窗口中查看配置是否成功，这里我使用cygwin 输入go version命令 出现Go的版本号则说明配置成功！ 三、在GOPATH配置的工作目录中新建main.go文件，编写如下代码 1 package main 2 3 import ( 4 "fmt" 5 ) 6 7 func main() {...阅读全文
tar是用于文件归档，gzip用于压缩。仅仅用tar的话，达不到压缩的目的。我们常见的tar.gz就是用gzip压缩生成的tar归档文件。 go实现tar压缩与解压与zip类似，区别在于tar需要使用gzip进行处理。tar与zip的Header不同。代码如下 package tartest import ( "archive/tar" "compress/gzip" "io" "os" "strings" ) //压缩 使用gzip压缩成tar.gz func Compress(files []*os.File, dest string) error { d, _ := os.Create(dest) defer d.Close() gw := gzip.NewWriter(d) defe...阅读全文
前言 作为一个go语言程序员，觉得自己有义务为go新手开一条更简单便捷的上手之路。纵使网上教程很多，但总不尽人意。go的入门门槛还是非常低的，无论是安装还是使用。 go安装 go 语言支持以下系统： Linux Mac OS X（也称为 Darwin） Window FreeBSD 本文将介绍mac下的安装和使用教程 安装包下载地址（下面3个都可以）： https://studygolang.com/dl https://golang.google.cn/dl/ https://golang.org/dl/ 步骤： 打开安装包下载页面 . 选择go1.10.2.darwin-amd64.tar.gz，单击连接就开始下载到本机了。这里选择的稳定（stable）版本是1.10.2，当然你也可以选...阅读全文
package main import ( "bytes" "compress/zlib" "fmt" "io" "os" ) //进行zlib压缩 func DoZlibCompress(src []byte) []byte { var in bytes.Buffer w := zlib.NewWriter(&in) w.Write(src) w.Close() return in.Bytes() } //进行zlib解压缩 func DoZlibUnCompress(compressSrc []byte) []byte { b := bytes.NewReader(compressSrc) var out bytes.Buffer r, _ := zlib.NewReader(b) io...阅读全文
项目地址 https://github.com/sjatsh/unw... & 个人博客 https://sjatsh.com 起因 前段时间想学习微信小程序开发但是又没有什么深厚前端功底，看到很多很好玩的小程序想要做一个类似的学习学习，所以想着借鉴一下现有的小程序。但是苦于没有源码，抓包也没有办法获取源码。 google后知道可以用安卓模拟器安装微信然后安装小程序，然后在文件系统中找到小程序对应的wxapkg文件，拿到压缩包解压后就可以得到小程序源码。 但是压缩包是2进制文件，找了一遍后发现一个现有现有的开源项目可以直接解压小程序压缩包。 废话不多说，直接开干～ 获取小程序压缩包文件一、下载网易MuMu安卓模拟器 下载地址 http://mumu.163.com/ 二、安装微信和RE文件管...阅读全文
1、使用gopm代替go下载 //使用gopm(Go Package Manager)代替go下载,是go上的包管理工具，十分好用 //1. 下载安装gopm go get -u github.com/gpmgo/gopm //2. 使用gopm安装被墙的包 gopm get github.com/Shopify/sarama 2、使用镜像仓库 golang 在 github 上建立了一个镜像库，如 https://github.com/golang/net 即是 https://golang.org/x/net 的镜像库.获取 golang.org/x/net 包（其他包类似），其实只需要以下步骤： mkdir -p $GOPATH/src/golang.org/x cd $GOPATH/...阅读全文
go标准库的gzip包中提供了两个操作，分别是压缩和解压 常量和变量 const ( NoCompression = flate.NoCompression // 不压缩 BestSpeed = flate.BestSpeed // 最快速度 BestCompression = flate.BestCompression // 最佳压缩比 DefaultCompression = flate.DefaultCompression // 默认压缩比 ) var ( // 当读取gzip数据时发现无效的校验和时将返回该错误 ErrChecksum = errors.New("gzip: invalid checksum") // 当读取gzip数据时发现无效的数据头时将返回该错误 ErrHead...阅读全文
golang压缩和解压缩zip文件 一个简单例子说明如何使用golang提供的archive/zip包实现zip文件的压缩和解压缩。 压缩 提供两个参数： 一个是输入源文件 另一个是输出zip压缩文件 其中输入源文件可以是一个文件，也可以好似一个目录，如果是目录那么目录下的所有文件都会被压缩到输出。 当然这个函数很容易被扩展成支持多个输入源文件/目录的情况。 // srcFile could be a single file or a directory func Zip(srcFile string, destZip string) error { zipfile, err := os.Create(destZip) if err != nil { return err } defer z...阅读全文
今天看了一下go语言的zip压缩包的操作。 每天看一点go的包，动手写几个例子感觉还是有点收获的，多动手才能有所进步。 先附上代码。testzip.go package main import ( "archive/zip" "bufio" "fmt" "io" "os" ) func main() { rc, err := zip.OpenReader("test/hello.zip") if err != nil { defer rc.Close() } for _, _file := range rc.File { fmt.Println(_file.Name) f, _ := _file.Open() desfile, err1 := os.OpenFile(_file.Name, ...阅读全文
g是一个Linux、macOS、Windows下的命令行工具，可以提供一个便捷的多版本go环境的管理和切换。 特性 支持列出可供安装的go版本号 支持列出已安装的go版本号 支持在本地安装多个go版本 支持卸载已安装的go版本 支持在已安装的go版本之间自由切换 安装 自动化安装 Linux/macOS（适用于bash、zsh） # 建议安装前清空`GOROOT`、`GOBIN`等环境变量 $ wget -qO- https://raw.githubusercontent.com/voidint/g/master/install.sh | bash $ echo "unalias g" >> ~/.bashrc # 可选。若其他程序（如'git'）使用了'g'作为别名。 $ source ~...阅读全文
本文并非golang内置的库进行wav转mp3，而是通过golang调用Linux的lame命令进行转换。 在Linux环境下，默认情况是没有安装lame，所以首先需要安装lame（个人保存下载文件：http://pan.baidu.com/s/1qWp71G4#path=%252Fsharesoft%252Flinux%252Flame）。 Linux lame 安装及使用： 1. 解压lame压缩文件：tar -vzxf lame-3.98.4.tar.gz 2. 转到解压后的文件目录，依次执行：“./configure --enable-shared”，“make”，“make install” 3. lame使用方法：lame xxx.wav xxx.mp3 (这样就能把xxx.wa...阅读全文
tar包实现对tar归档文件的访问，旨在覆盖大部分的类型，包括GNU和BSD产生的tars。 常量 const ( // Types TypeReg = '0' // 普通文件 TypeRegA = '\x00' // 普通文件 TypeLink = '1' // 硬连接 TypeSymlink = '2' // 符号连接，软连接 TypeChar = '3' // 字符设备节点 TypeBlock = '4' // 块设备节点 TypeDir = '5' // 目录 TypeFifo = '6' // fifo node TypeCont = '7' // 保留项 TypeXHeader = 'x' // 可扩展头部 TypeXGlobalHeader = 'g' // 全局扩展头 Typ...阅读全文
openmeeting 视频会议，仿QQ群视频，实现多人视频，多人语音，文字聊天，表情，共享PPT功能，自由发言，主持人控制发言，按F2发言三种语音模式 ,客户端使用vs2010+qt4.85开发，服务器使用php+go语言，数据库采用mysql 演示系统所有密码都是123456，演示用户 8001~8010 客户端下载地址： http://pan.baidu.com/s/1gdCikSV 服务器下载地址： http://pan.baidu.com/s/1bnAo2zP ,安装包压缩文件内有安装说明书 ![image](http://www.onlycoder.net/Uploads/Editor/2015-03-28/5516bf81db6e8.png...阅读全文
下载最新版的SDK压缩包，传送门：https://golang.org/dl/ 点击下载Linux版本 使用WinScp软件将安装包上传到/opt/目录下，使用解压命令解压刚上传的压缩文件到/usr/loacl/下：tar -zxvf go1.13.7.linux-amd64.tar.gz -C /usr/local/，解压完之后进去该目录即可看到一个目录：go。 指定Go项目的存放路径，在/usr/loacl/下，键入命令：mkdir gocode即可。 配置环境变量。修改配置文件，键入命令：vim /etc/profile，在正常模式下，键入大写字母G，立刻返回到文件尾，键入小写i进入编辑模式，在末尾追加如下代码： export GOROOT=/usr/local/go export G...阅读全文
1.错误描述 使用如下方式安装beego的时候出错 go get github.com/astaxie/beego 错误信息: go install unicode/utf8: open /opt/go/pkg/linux_amd64/unicode/utf8.a: permission denied go install unicode: open /opt/go/pkg/linux_amd64/unicode.a: permission denied go install math: open /opt/go/pkg/linux_amd64/math.a: permission denied go install sort: open /opt/go/pkg/linux_amd64/so...阅读全文
关于google app engine的安装使用 我下载了google app engine的zip压缩包，解压到c盘根目录，将“c:\go_appengine”添加到path里面，使用命令时出现问题。 1、在cmd命令行窗口可以使用goapp命令，但在gitbash下显示sh.exe：goapp：command not find。这是什么原因，到底要将哪个路径写进path里面。 2、我使用deploy命令上传时出现“could not find python interpreter: exec: "python": executable file not found in%PATH%”，大概意思是找不到Python编译器，这是什么原因，源文件到底放在哪个路径下面，我已经安装...阅读全文
下载地址 liteide：http://sourceforge.net/projects/liteide/files windows 环境 下载下来是个压缩包，解压缩 作者：风来了.呆狐狸 配置 目录说明 E:\go E:\go\go #go.bat文件存放目录，该目录就是GO lang ZIP 压缩包解压缩后的目录，GO 环境核心目录 E:\go\GOPATH #扩展包或下载目录 E:\go\Dev #开发项目存储目录 GO 环境配置请看 http://blog.csdn.net/fenglailea/article/details/41444203 打开liteide 目录下 bin文件夹，liteide.exe 右击创建桌面快捷方式。 然后 双击 启动， 菜单栏 查看-> 管理GOPA...阅读全文
最近写个工具需要压缩数据 文件越小越好，看到7z压缩...阅读全文
摘要： 2017云栖大会·上海峰会上，阿里云发布了面向物联网场景的高性能时间序列数据库 (High-Performance Time Series Database , 简称 HiTSDB) 。HiTSDB 可支持每秒1000万时序数据点写入；具备PB级别的数据存储能力，提供高效压缩算法，整体存储成本降低90%；提供时序数据插值计算，降精度计算，时间纬度聚合计算，空间纬度聚合计算的能力。 HiTSDB 是一种高性能、低成本、稳定可靠的在线时序数据库服务；提供高效读写，高压缩比存储、时序数据插值及聚合计算。是物联网（IoT）设备监控系统 ，企业能源管理系统（EMS），生产安全监控系统，电力检测系统等行业领域的专业数据库。 HiTSDB 打造物联网智慧园区 HiTSDB 已经在...阅读全文
官方教程说明： Windows 对于Windows用户，Go项目提供两种安装选项（从源码安装除外）： zip压缩包需要你设置一些环境变量，而实验性MSI安装程序则会自动配置你的安装。 MSI安装程序 打开此MSI文件 并跟随提示来安装Go工具。默认情况下，该安装程序会将Go发行版放到 c:\Go 中。 此安装程序应该会将 c:\Go\bin 目录放到你的 PATH 环境变量中。 要使此更改生效，你需要重启所有打开的命令行。 Zip压缩包 下载此zip文件 并提取到你的自选目录（我们的建议是c:\Go）： 若你选择了 c:\Go 之外的目录，你必须为你所选的路径设置 GOROOT 环境变量。 将你的Go根目录中的 bin 子目录（例如 c:\Go\bin）添加到你的 PATH 环境变量中。 使...阅读全文
项目地址起因 前段时间想学习微信小程序开发但是又没有什么深厚前端功底，看到很多很好玩的小程序想要做一个类似的学习学习，所以想着借鉴一下现有的小程序。但是苦于没有源码，抓包也没有办法获取源码。 google后知道可以用安卓模拟器安装微信然后安装小程序，然后在文件系统中找到小程序对应的wxapkg文件，拿到压缩包解压后就可以得到小程序源码。 但是压缩包是2进制文件，找了一遍后发现一个现有现有的开源项目可以直接解压小程序压缩包。废话不多说，直接开干～使用源码安装安装golang没有用过golang的人可以直接去官网下载go get github.com/sjatsh/unwxapkgcd ~/go/src/github.com/sjatsh/unwxapkg使用可执行文件下载地址使用unwxapk...阅读全文
1，下载IntelliJ IDEA旗舰版，我用的是14.1.3版本： http://www.jetbrains.com/idea/download/ 2. 下载golang官方SDK和go-lang-idea-plugin插件源码 http://golang.org/dl/ （要翻==墙） https://github.com/go-lang-plugin-org/go-lang-idea-plugin 3，将下载的go-lang-idea-plugin压缩包解压，IDEA点击File -> open 打开该工程。打开后有很多编译错误，先不管，接下来一步一步配置。 4，点击File -> Project Structure 打开项目结构配置窗口。 如图所示，添加JDK和IntelliJ Pl...阅读全文
主要流程 MongoDB 2.8 版本特性与功能 MongoDB 在赶集网的应用 MongoDB 最佳实践 MongoDB 2.8 版本特性与功能 TJ MongoDB 开发者 TJ 强调 MongoDB 没有实际意义上的锁，只有 Latch，门栓。 2.6 库级锁 Latch，没有 Lock，写内存的一刹那锁住内存 2.8 无锁的 MVCC 并发，WIREDTIGER，snapshot isolation 2.6 MMAP 内存映射，库级锁 2.8 MMAP 集合级锁 2.8 WIREDTIGER 无锁 WIREDTIGER 存储模式 LSM(HBASE, Cassandra) - Log Structured Merge B-TREE LSM 数据写内存，异步写硬盘 读性能有问题，性能一...阅读全文
package main import ( "fmt" "compress/zlib" "bytes" ) func main() { var input = []byte("data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAKsAAAAgCAYAAABtn4gCAAAI9klEQVR4Xu2cfYxcVRmHn3Pu3Nm6lXa2ta0AYlsgFSGgThMU0W5hGkqApNGARk3cGm3BRN3FYGuCISrBXaNphcSkG2I3hn9gY2gSNWq32AoE1C6KRihFti2QSgvsTmm783HvOa+zM69cSS8Tacsq7n2SX87cj5P7ZvLs2ztnbseICG8HMjIsbxMyMnIoxhja...阅读全文
[g](https://github.com/voidint/g)是一个Linux、macOS、Windows下的命令行工具，可以提供一个便捷的多版本go环境的管理和切换。 ## 特性 - 支持列出可供安装的go版本号 - 支持列出已安装的go版本号 - 支持在本地安装多个go版本 - 支持卸载已安装的go版本 - 支持在已安装的go版本之间自由切换 ## 安装 ### 自动化安装 - Linux/macOS（适用于bash、zsh） ```shell # 建议安装前清空`GOROOT`、`GOBIN`等环境变量 $ wget -qO- https://raw.githubusercontent.com/voidint/g/master/install.sh | bash $ echo "u...阅读全文
gocron - 定时任务web管理系统 项目简介 使用Go语言开发的定时任务集中调度和管理系统, 用于替代Linux-crontab 项目地址 查看文档 功能特性 支持任务CURD crontab时间表达式，可精确到每秒 任务执行失败重试设置 任务超时设置 任务执行方式 调用本机系统命令 通过SSH执行远程命令 执行HTTP-GET请求 查看任务执行日志 任务执行结果通知, 支持邮件、Slack 截图 支持平台 Windows、Linux、OSX 环境要求 MySQL 安装 二进制安装 下载, 解压压缩包 cd 解压目录 启动 Windows: gocron.exe web Linux、OSX: ./gocron web 浏览器访问 http://localhost:5920 源码安装 g...阅读全文
Go的标准库已经自带了zip的库. 不过zip包在处理内部文件名时, 默认是utf8编码的. 对于Windows中文用户, 生成和读取zip内部文件名默认是GBK编码的. 因此, 在处理涉及GBK的文件名时需要做一个转换. Go语言官方的 go.text 子标准库已经支持各种编码, 下面是utf8转GBK的函数: import "golang.org/x/text/encoding/simplifiedchinese" func utf8ToGBK(text string) (string, error) { dst := make([]byte, len(text)*2) tr := simplifiedchinese.GB18030.NewEncoder() nDst, _, err :...阅读全文
步骤a 前往https://github.com/grd/iup 查看说明，看到Quick installation guide for Windows这里 按说明前往下载3个dll库文件包 我自己下的是下面这3个 Im - im-3.9.1_Win32_dll10_lib.zip Cd - cd-5.8.2_Win32_dll10_lib.zip Iup - iup-3.14_Win32_dll10_lib.zip 按说明设置一个系统环境变量（右键计算机-属性-高级系统设置-环境变量） IUPHOME=C:\iup 把下载的3个压缩包都解压到c:\iup目录下 步骤b 复制c:\iup\下的include目录,到C:\TDM-GCC-32\下粘贴，（增量覆盖方式，这里我安装的gcc是tdm...阅读全文
（来自百度经验） golang是一个开发语言 这次我们要在linux下安装配置golang的研发环境 下面我们来介绍一下怎么样在linux上配置golang环境 工具/原料 能上网的linux服务器一台 windows电脑一台 方法/步骤 1 请自行安装SSH远程工具 2 SSH远程登录你的linux服务器 3 yum install mercurial 安装 mercurial包 4 安装git包 yum install git 5 安装gcc yum install gcc 6 然后就可以下载golang的压缩包了 wget https://go.googlecode.com/files/go1.2.linux-amd64.tar.gz 7 下载完成 8 用tar 命令来解压压缩包 ta...阅读全文
MongoDB功能预览：http://pan.baidu.com/s/1k2UfW MongoDB在赶集网的应用：http://pan.baidu.com/s/1bngxgLp MongoDB在京东的使用：http://pan.baidu.com/s/1qWkawv6 MongoDB 在赶集网的应用 赶集网 DBA 选型失败的案例 选型成功的案例 服务化与运维 失败案例 不支持 join，数据库支持反范式 过多内联数据，索引庞大，性能过低 过多聚合及计算功能，数据库不堪重负 基于地理位置， mongodb 二级索引 schema free，无传统 DB DDL 负担 document 丰富的数据结构类型 mongodb 1.8 全局锁，读写超时非常严重 直到 2.0 DB 级锁，才有单库单表...阅读全文
liteide 下载地址 https://code.google.com/archive/redirect/a/code.google.com/p/golangide?movedTo=https:%2F%2Fsourceforge.net%2Fprojects%2Fliteide%2F 我尝试了Intellij IDEA 和LiteIDE，前者装插件特别复杂，放弃了。最终我选择了LiteIDE Go语言开发工具LiteIDE配置(Windows) 听语音 | 浏览：3252 | 更新：2014-10-21 18:56 1 2 3 4 5 6 7 分步阅读 谷歌系统所使用的编程语言Go，近年来发展的越来越成熟、方便易用。现在，我们可以通过使用LiteIDE让Go语言编程变得更加简单。 工具/原...阅读全文
EasyDoc，简单、快速生成文档的工具。 EasyDoc 读音 [ˈiziˈdɑk] 语音文件 互动·交流 QQ交流群：群号码 80998448 加入QQ群 GitHub: https://github.com/wuyumin/ea... 欢迎 star 它 软件更新和下载 从这下载软件 (压缩包需要解压出软件文件。) 仅一个软件文件搞定，不用安装，更不用其它依赖，支持微软系统电脑，苹果系统电脑，Linux系统电脑。 如何更新软件：请将下载后的新软件文件覆盖旧的软件文件即可。 EasyDoc 使用 Go 语言开发，是开源软件，你可以自行使用源码进行编译。其实你可不必这么做，我们已经有编译并优化好的软件来下载。 命令行的使用 确保 easydoc 软件文件有可执行权限！ 软件文件在当前目录下...阅读全文
摘要： 12月7日，2017苏州·云栖大会上，阿里云发布全新的混合云数据存储和灾备方案，此次发布的内容包括最新推出的混合云容灾服务HDR和混合云备份服务HBR，以及全面升级的混合云存储阵列CSA2000和CSA3000。 12月7日，2017苏州·云栖大会上，阿里云发布全新的混合云数据存储和灾备方案，此次发布的内容包括最新推出的混合云容灾服务HDR和混合云备份服务HBR，以及全面升级的混合云存储阵列CSA2000和CSA3000。 ![3d6b1826d99c00df1619050f7111bd2d417523c2[1].png](https://static.studygolang.com/171213/1c82ed88ac1bbb5c35c7c3896c1971a7....阅读全文
（ 额外知识，可以不了解 linux的3种环境变量，1针对所有用户永久的，2针对单一用户永久的，3临时的，具体看 https://www.cnblogs.com/qiuhong10/p/78159 ） https://studygolang.com/dl 在上面地址下载golang安装包 下载后的压缩包移动到/usr/local 解压缩 tar -xvf xxx.tar.gz 将/usr/local/go/bin添加到PATH环境变量中 43.html 切换到root用户，编辑/etc/profile vi /etc/profile 在最底部添加 export PATH=$PATH:/usr/local/go/bin:/go工项目工作目录/bin // go安装目录 export GOROO...阅读全文
压缩文件 package main import ( "fmt" "os" "io" "archive/tar" "compress/gzip" ) func main() { // file write fw, err := os.Create("tar/lin_golang_src.tar.gz") if err != nil { panic(err) } defer fw.Close() // gzip write gw := gzip.NewWriter(fw) defer gw.Close() // tar write tw := tar.NewWriter(gw) defer tw.Close() // 打开文件夹 dir, err := os.Open("file/") if ...阅读全文
首先从网上下载 windows golang 环境 http://code.google.com/p/gomingw/downloads/list 64 和 32 分别下载 amd64 和 386的 压缩包。 我的电脑是 64 bit windows 7 所以下载 gowinamd64_weekly.2012-01-15.zip 这个事每周 打一个版本的。。更新速度还是挺快的。 然后解压缩到 d:/soft/go/目录下 然后安装 eclipse go 插件： http://goclipse.googlecode.com/svn/trunk/goclipse-update-site/ 更新重启 eclipse 然后配置 golang 目录： 创建一个工程。写一个helloworld 如下： ...阅读全文
潘卫华 / 唯品会基础架构部架构师，唯品会Dragonfly日志系统负责人。对 Elasticsearch 和大数据流式处理有丰富经验，对Golang及其程序的性能优化也有较多研究。前言大家下午好！我是来自唯品会基础架构部的潘卫华。今天我们来跟大家一起看看在大数据领域里面，Golang的应用。我们知道在大数据领域里，Java 和 Scala 语言基本是处于统治地位的，主要是因为像 Hadoop 以及基于 Hadoop 的一些工具栈，比如 HBase/Hive/Spark/Flink 等等，这些都是基于 Java 或者 Scala开发，他们提供 的api 也是主要给 Java 系的语言来使用的。不过实际在项目过程中，我认为还是在一些地方Golang是可以有用武之地的。我将从以下几个方面作分享：...阅读全文
Go语言安装与liteIDE配置： 我以windows10 64位操作系统为例进行安装： 首先从官网上下载go安装包：我以go1.7rc6.windows-amd64.msi为例，也有以压缩文件的形式提供下载。 下载完成后直接双击进行安装。一路next你懂得，其中安装目录界面：你可以放到自己想要放的目录，也可以默认他自己的目录。我以d:\go目录为例，一路安装下去即可。 安装完成后，系统已经帮你配置好了环境变量，所以自己并不需要手动配置。 在命令行中输入：go 回车，底下出现一大堆就是成功了。 此时go语言安装完成。要选择一款好的编译器，其实很多文本编辑器已经很好的支持了go语言，本文介绍的一款编译器是LiteIDE，他是专门为go语言开发的一款编译器。 下载后lliteIDE后，直接解压就...阅读全文
https://go-zh.org/doc/install Linux、Mac OS X 和 FreeBSD 的安装包 下载此压缩包并提取到/usr/local 目录，在/usr/local/go 中创建Go目录树。例如： tar -C /usr/local -xzf go$VERSION.$OS-$ARCH.tar.gz 该压缩包的名称可能不同，这取决于你安装的Go版本和你的操作系统以及处理器架构。 （此命令必须作为root或通过 sudo 运行。） 要将 /usr/local/go/bin 添加到 PATH 环境变量，你需要将此行添加到你的 /etc/profile（全系统安装）或 $HOME/.profile 文件中： export PATH=$PATH:/usr/local/go/b...阅读全文
集群式、负载均衡的RPC框架 rpcx支持多种的序列化库，可以有效的减少消息体的大小，但是对于字符串或者图片的字节slice，明显还可以进一步的压缩，正如fasthttp作者valyala在他的新的开源项目httpteleport中描述的： 通过1G的带宽传输10G的数据 (夸张)。 为了在RPC的传输中减少传输的数据大小，我在不影响rpcx整体框架的基础上，参考了httpteleport的实现，对net.TCPConn进行了封装，实现了压缩/解压缩功能的net.Conn，可以有效的减少带宽，节省公司在带宽上的花费， 以下就是具体的实现。 首先介绍两种压缩格式。 zip 是常用的一种压缩格式，Go标准库中提供了它的实现。zip原名Deflate，发明者为菲尔·卡茨（Phil Katz），他于...阅读全文
package main import ( "archive/zip" "fmt" "io" "os" "path/filepath" "strings" ) func main() { var ( Path = os.Args[1] Name = os.Args[2] ) File, _ := os.Create(Name) PS := strings.Split(Path, "\\") PathName := strings.Join(PS[:len(PS)-1], "\\") os.Chdir(PathName) Path = PS[len(PS)-1] defer File.Close() Zip := zip.NewWriter(File) defer Zip.Close() wa...阅读全文
golang有什么加密法可以压缩字符串（可以解密那种） 比如一个字符串200个字节 ，加密后 大概成了100个字节那种或则更少， 可以解密...阅读全文
求助Cannot open: No such file or directory Gzip(data []byte) []byte { var res bytes.Buffer gz, _ := gzip.NewWriterLevel(&res, 7) _, err := gz.Write(data) if err != nil { Log4e(err) } else { gz.Close() } return res.Bytes() } 最近将图片使用gzip压缩上传到s3， gzip压缩的过程中，Write之后一定要及时Close，不能defer， 这样才能flush， 否则得不到任何数据， 这个问题没注意， 查了半天...阅读全文
tl;dr（太长不读）： zstd是Facebook在2016年开源的新无损压缩算法，优点是压缩率和压缩/解压缩性能都很突出。 在我们测试的文本日志压缩场景中，压缩率比gzip提高一倍，压缩性能与lz4、snappy相当甚至更好，是gzip的10倍以上。 zstd还有一个特别的功能，支持以训练方式生成字典文件，相比传统压缩方式能大大的提高小数据包的压缩率。 在过去的两年里，新版本的Linux内核、HTTP协议、以及一系列的大数据工具（包括Hadoop 3.0.0，HBase 2.0.0，Spark 2.3.0，Kafka 2.1.0）等都已经加入了对zstd的支持。 可以预见，zstd将是未来几年里会被广泛关注和应用的压缩算法。 最近了解到了zstd这种新的压缩算法。不像lz4，lzo，sn...阅读全文
和上文类似，同样是在安装bleve这款全文搜索引擎上出现的问题。 编译错误信息 cannot find package "golang.org/x/text/unicode/norm" in any of: /Users/.../projects/go-projects/src/github.com/blevesearch/bleve/vendor/golang.org/x/text/ unicode/norm (vendor tree) /usr/local/go/src/golang.org/x/text/unicode/norm (from $GOROOT) /Users/.../projects/go-projects/src/golang.org/x/text/unicode/no...阅读全文
