golang中的检验hash
1.对字符串进行hash 大家可以看一下, SHA1 Hashes Go by Example写道: The pattern for generating a hash is sha1.New(), sha1.Write(bytes), then sha1.Sum([]byte{}). 附上golang代码 package main import ( "crypto/sha1" "fmt" ) func main() { s := "...阅读全文
1.对字符串进行hash 大家可以看一下, SHA1 Hashes Go by Example写道: The pattern for generating a hash is sha1.New(), sha1.Write(bytes), then sha1.Sum([]byte{}). 附上golang代码 package main import ( "crypto/sha1" "fmt" ) func main() { s := "...阅读全文
golang实现的leveldb,是由leveldb原作者写的,所以大家可以放心大胆使用。使用方法如下:https://github.com/syndtr/goleveldb/blob/master/README.md godoc地址如下:http://godoc.org/github.com/syndtr/goleveldb/leveldb阅读全文
简介 项目开源地址:https://github.com/HouzuoGuo/tiedot 发起者留下了他的Twitter,貌似姓郭,是个美籍华人 项目简介中,有关于对性能的描述,有人用此数据库抓取了维基百科,保存5900万数据,共73G。 安装 配置好Go环境后,运行 go get github.com/HouzuoGuo/tiedot 入门 使用有2种方式,使用HTTP做接口,适用任何语言;使用嵌入式,使用Go语言,这里介绍使用Go语言,数据库的嵌入模式,足以应付百万请求/天了。 项目自带了...阅读全文
时常会在应用中用到数据库功能,象 Key-Value 性质的。直接搬个 Redis,Mysql嫌大,好在有 LevelDB,直接编进应用中。 有关什么是 LevelDB 以及 LevelDB 的特性,可Google之,我们看看如何用。 先要 go get github.com/syndtr/goleveldb/leveldb 然后在文件中 import 进来。 1.打开数据库 db,err = leveldb.OpenFile("./db",nil) if (err != nil) { pani...阅读全文
Pholcus Pholcus(幽灵蛛)是一款纯Go语言编写的支持分布式的高并发、重量级爬虫软件,定位于互联网数据采集,为具备一定Go或JS编程基础的人提供一个只需关注规则定制的功能强大的爬虫工具。 它支持单机、服务端、客户端三种运行模式,拥有Web、GUI、命令行三种操作界面;规则简单灵活、批量任务并发、输出方式丰富(mysql/mongodb/csv/excel等)、有大量Demo共享;另外它还支持横纵向两种抓取模式,支持模拟登录和任务暂停、取消等一系列高级功能。 官方QQ群:Go大数据...阅读全文
可以看到,今年谷歌家的 Go 编程语言流行度有着惊人的上升趋势,其发展也是越来越好,因此本文整理了一些优秀的 Go 存储相关开源项目和库,一起分享,一起学习。 存储服务器(Storage Server) Go 实现的存储服务器 minio - Minio 是一个与 Amazon S3 APIs 兼容的开源对象存储服务器,分布式存储方案 rclone - “用于云存储的 Rsync” - Google Drive, Amazon Drive, S3, Dropbox, Backblaze B2, ...阅读全文