公司有个需求，就是能够对列表去重。本屌原本想直接用for循环实现，后来去查了查Java的实现方式，大开眼界。 Set，是指数学里的集合。集合当中不能有重复的元素。判断是否有重复，可以使用哈希的方法。Java容器当中有基于哈希实现的HashSet。把元素都放入HashSet当中，如果有重复，则会插入失败。这样就能判断出来是否重复了。 而Golang并没有这种高级的容器。只是找了一个大神实现的，稍微改了一下，能够支持字符串检测。 http://play.golang.org/p/_FvECoFvhq...阅读全文
大家都知道，最近我模仿binux大婶的pyspider的害羞组在线上跑了一段时间了。后来加入了一些新的东西，比如代理池等。看瞅着代码越来越靠谱了，结果突然有一天，发现抓取停止了，紧接着去看日志： 2015/08/12 23:18:22 Post http://api.duoshuo.com/posts/import.json: dial tcp: lookup api.duoshuo.com: too many open files 作为一个菜鸟，我哪知道这是啥啊。后来用Google去搜，发现这...阅读全文
package main import ( "fmt" "io" "log" "net/http" "net/http/httputil" "net/url" ) func httpUserInfo(w http.ResponseWriter, r *http.Request) { ret := "your addr is:" + r.RemoteAddr + "\r\n" ret += "request headers:" + fmt.Sprint(r.Header) io.WriteStri...阅读全文
主机字节序 主机字节序模式有两种，大端数据模式和小端数据模式，在网络编程中应注意这两者的区别，以保证数据处理的正确性；例如网络的数据是以大端数据模式进行交互，而我们的主机大多数以小端模式处理，如果不转换，数据会混乱 参考；一般来说，两个主机在网络通信需要经过如下转换过程：主机字节序 —> 网络字节序 -> 主机字节序 大端小端区别 大端模式：Big-Endian就是高位字节排放在内存的低地址端，低位字节排放在内存的高地址端 低地址 --------------------> 高地址 高位字节 地...阅读全文
本文地址：https://www.jianshu.com/p/4e53d4727152 一、简介 Golang诞生已经超过十个年头了，发展得愈发完善，其简单方便的协程并发机制使得其在爬虫领域有着一定的天赋。 首先我们来看一看，Golang相对于Python这个爬虫领域的传统强者，有哪些优点和缺点。 优点： 完善简便的协程并发机制 并发数量大 占用资源少 运行速度更快 部署方便 缺点： 数据处理比较繁琐 成熟工具不是很多 资料较少 实现相同逻辑需要的代码更多 由于Golang本身静态语言的特性，和...阅读全文
原文地址：Go defer 会有性能损耗，尽量不要用？ 上个月在 @polaris @轩脉刃 的全栈技术群里看到一个小伙伴问 “说 defer 在栈退出时执行，会有性能损耗，尽量不要用，这个怎么解？”。 恰好前段时间写了一篇 《深入理解 Go defer》 去详细剖析 defer 关键字。那么这一次简单结合前文对这个问题进行探讨一波，希望对你有所帮助，但在此之前希望你花几分钟，自己思考一下答案，再继续往下看。 测试 func DoDefer(key, value string) { defer ...阅读全文
1.背景 开发程序的时候,需要打开浏览器,省去用户自己手动打开的麻烦,在golang中有方式可以直接代开, start, xdg-open 分别是windows和mac, linux打开系统默认程序的工具,所以你要使用谷歌打开就必须要把谷歌浏览器设置为默认,linux下不要使用root权限使用xdg-open,windows下失败可以尝试在管理员权限下的cmd执行你的程序, windows 执行命令 cmd /C start htttp://tech.mojotv.cn linux/freebs...阅读全文
简介 上一篇文章介绍 cobra 的时候提到了 viper，今天我们就来介绍一下这个库。viper 是一个配置解决方案，拥有丰富的特性： 支持 JSON/TOML/YAML/HCL/envfile/Java properties 等多种格式的配置文件； 可以设置监听配置文件的修改，修改时自动加载新的配置； 从环境变量、命令行选项和io.Reader中读取配置； 从远程配置系统中读取和监听修改，如 etcd/Consul； 代码逻辑中显示设置键值。 快速使用 安装： $ go get github...阅读全文
启动两个做为生产者的go-routing, 分别将数据生产的数据写入两个带缓冲的通道cha1,ch2 分别模拟在Main go-routing和 sub go-routing中通过for-select循环读取两个通道的值并打印 通过3种方式优雅的退出main go-routing exit for-select in go-routing https://play.golang.org/p/Ar4389-87QE package main import ( // "time" "fmt" ) f...阅读全文
