请教如何处理go并发？（done）

don...阅读全文

网络爬虫框架Antch

Antch, 是快速的，强大的，可扩展的爬虫框架，类似于[Scrapy](https://github.com/scrapy/scrapy)。 * 支持robots.txt * 支持自定义模块 * 支持Item管道处理 * 支持多种代理协议(socks5,http,https) * 支持XPath查询HTML/XML数据 * 做为框架，易于上手 阅读全文

Go开发的分布式爬虫框架yispider

yispider 是一款分布式爬虫平台，帮助你更好的管理和开发爬虫。 内置一套爬虫定义规则（模版），可使用模版快速定义爬虫，也可当作框架手动开发爬虫 码云地址：https://gitee.com/bilibala/YiSpider github地址：https://github.com/2young2simple/yispider ## 架构 目前框架分为2个部分: #### 1.爬虫部分（spider节点）: 内部结构参考python scrapy框架，主要由 schedule,page process,pipline 4个部分组成，单个爬虫单独调度器，单独上下文管理,目前内置2中pipline的方式，控制台和文件,节点信息注册在etcd上用于...阅读全文

如何快速搭建实用的爬虫管理平台

本次篇文章内容较多，涉及知识较广，读完需要大约 20 分钟，请读者耐心阅读。 前言 大多数企业都离不开爬虫，爬虫是获取数据的一种有效方式。对搜索引擎来说，爬虫不可或缺；对舆情公司来说，爬虫是基础；对 NLP来说，爬虫可以获取语料；对初创公司来说，爬虫可以获取初始内容。但是爬虫技术纷繁复杂，不同类型的抓取场景会运用到不同的技术。例如，简单的静态页面可以用 HTTP 请求＋HTML 解析器直接搞定；一个动态页面需要用 Puppeteer 或 Selenium等自动化测试工具；有反爬的网站需要用到代理、打码等技术；等等。因此，对爬虫有规模量级要求的企业或个人需要同时处理不同类别的爬虫，这会凭空增添很多附加的管理成本。同时，爬虫管理者还需要应对网站内容变更、持续增量抓取、任务失败等问题。因此一个成熟...阅读全文

怎么用go写一个高性能的聊天服务器?

接触go没多久，在网上看了看tcp聊天服务器，大概实现就是:遇到有用户连接就直接开一个goruntine，这样的性能是否算高呢?假设只是一台4核8gb机器。大概能启动多少goruntine?怎么样能充分利用cpu资源，是设置GOMAXPROCS吗...阅读全文

分享一门非常好的爬虫课程《Python爬虫工程师必学——App数据抓取实战》——推荐分享

​​​课程简介：爬虫分为几大方向，WEB网页数据抓取、APP数据抓取、软件系统数据抓取。本课程主要为同学讲解如何用python实现App数据抓取，课程从开发环境搭建，App爬虫必备利器详解，项目实战，到最后的多App端数据抓取项目集成，让你掌握App数据抓取的技能，向更优秀的python爬虫工程师迈进！适合人群想学习数据抓取的你，正在向Python爬虫工程师迈进的你，这门课程绝对适合你技术储备要求Python语法基础（函数封装，包调用、TCP三次握手流程、Requests模块使用，Python多线程，Python多进程）点击进入资源下载...阅读全文

Go并发—PPT

Goroutine协程池ants

ants是一个高性能的协程池，实现了对大规模goroutine的调度管理、goroutine复用，允许使用者在开发并发程序的时候限制协程数量，复用资源，达到更高效执行任务的效果。 功能: 1. 实现了自动调度并发的goroutine，复用goroutine 2. 提供了友好的接口：任务提交、获取运行中的协程数量、动态调整协程池大小 3. 资源复用，极大节省内存使用量；在大规模批量并发任务场景下比原生goroutine并发具有更高的性...阅读全文

Surfer 高并发双核无头浏览器

# surfer [](https://godoc.org/github.com/henrylee2cn/surfer) [](https://github.com/henrylee2cn/surfer/releases) A high level concurrency downloader. </br> surfer是一款Go语言编写的高并发爬虫下载器，拥有surf与phant...阅读全文

【提问】请问何时go语言会有自己的gui库呢

非常喜欢go语言的并发、高效和跨平台快速编译。但是没有发现go语言自己的gui库任何资料啊。我很希望用这样的语言来写一个图形界面的说。 希望大家有资料或者对go语言开发预期有了解的话能够分享一下，谢谢...阅读全文

golang学习的点点滴滴：锁的使用

package main import ( "fmt" "sync" "runtime" ) var counter int = 0 func Count(lock *sync.Mutex) { lock.Lock() counter++ fmt.Println(counter) lock.Unlock() } func main() { lock := &sync.Mutex{} for i:=0;i<10;i++ { go Count(lock) // 并发执行 } for { lock.Lock() // 锁定 c := counter lock.Unlock() // 解锁 runtime.Gosched() // 把时间片让给别人 if c >= 10 { break } } ...阅读全文

什么是网络爬虫？python快速入门

世界上80%的爬虫是基于Python开发的，学好爬虫技能，可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。 **什么是爬虫？** 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 其实通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据 **爬虫可以做什么？** 你可以用爬虫爬图片，爬取视频等等你想要爬取的数据，只要你能通过浏览器访问的数据都可以通过爬虫获取。 **爬虫的本质是什么？** 模拟浏览器打开网页，获取网页中我们想要的那部分数据 **浏览器打开网页的过程...阅读全文

Erlang和Go的并行化concurrent比较

说到concurrent，一般会想到Erlang和Go语言，这两种语言的主打特性都是concurrent，Erlang有着20多年的历史，是为简化开发电信大并发和高可靠性应用而发明的语言，Go是Google从2007年开始设计，2009年opensource出来的，Go属于一种system language，opensource的就算这两种语言吧，公司内私有的语言则有TNSDL，SDL的一个变种，以前写过一篇SDL和Erlang比较的文章（http://bookjovi.iteye.com/blog/1233299），这三种concurrent语言各有不同，下面看看： 1）语言设计 Erlang的实现基于虚拟机beam，Go是编译型语言，有着独成一体的compiler(不同于gcc，Go很好...阅读全文

[go]增加并发控制的并发ping

参照anyevent/coro版的ping功能实现. golang没有方便的pop/shift语法,只能自己按数组进行计数 /*gorouting版本的并行ping */ package main import ( "ping" "fmt" "time" "strconv" ) var fin chan string; //用于实现joinall //go没有pop/shift操作,只能自己计数 var cur int /*定义协程 ping单个目标 输入:目标ip/域名 输出:结果, 时延 */ func doit(){ if cur >= len(iplist){ return } ip:=iplist[cur] cur++ go pingr(ip,1000) } func pingr(...阅读全文

Erlang和Go的并行化concurrent比较

文链接：http://www.csnuts.com/msg/?id=9067 说到concurrent，一般会想到Erlang和Go语言，这两种语言的主打特性都是 concurrent，Erlang有着20多年的历史，是为简化开发电信大并发和高可靠性应用而发明的语言，Go是Google从2007年开始设 计，2009年opensource出来的，Go属于一种system language，opensource的就算这两种语言吧，公司内私有的语言则有TNSDL，SDL的一个变种，这三种concurrent语言各有不 同，下面看看： 1）语言设计 Erlang的实现基于虚拟机beam，Go是编译型语言，有着独成一体的compiler(不同于gcc，Go很好的解决了依赖的问题， 所以编译go程序时...阅读全文

golang 制作通用爬虫框架

# golang制作爬虫组件 # 一、背景 ​ 自己之前是一个iOS的小工，后来又去后台搬砖。 ​ 一直准备做一个iOS优质文章的聚合，每天定向爬取大V们的博客。所以就萌生了尝试打造一个通用爬虫框架的想法。加上近期开始golang的学习，所以选择使用go来写。 ​ 各章内容总结的比较粗糙，有什么问题，欢迎交流，欢迎各位大佬来喷。 传送门：[julyT](https://github.com/ldaysjun/JulyT) ## 1.1 初识 ​ 我给它起名叫JulyT，目前0.1版本支持Xpath数据解析，批量任务并发。简单的规则编写。就可以完成定向数据的提取. 例如：实现抓取列表，再抓取列表页详情数据，接着翻页继续 ```go func rule(node *Xpath.Node,spid...阅读全文

Go 语言开发的爬虫框架Grabant

Grabant是一个用go语言开发，用javascript语法书写规则的爬虫框架 规则开发和神箭手的爬虫规则类似，开发的目的是兼容大部分神箭手已有的规则 一些相关解释及说明如下： **扫描页**是直接配置的一级页面，这个页面扫描的结果是抓取列表页; **列表页**是扫描后的二级页面，这个页面是为了抓取内容页; **内容页**才是真正匹配我们需要内容的规则的页面，内容页会匹配我们需要的内容并输出; 每次扫描页面，会抽取页面的链接放入队列进行规则匹配，列表页规则如果为空则列表页抽取链接全放入列表队列，同理内容页，从内容页中抽取的数据是以xpath或者正则匹配的规则 举个栗子： 如下是一个简易的爬豆瓣电影评分的规则 configs是一个json配置对应的字段意义如下： domain...阅读全文

Go 唯一标识生成库 NUID

NUID 是一个高性能的唯一标识生成库，使用 GO 语言开发。 示例代码：

// Utilize the global locked instance
nuid := nuid.Next()

// Create an instance, these are not locked.
n := nuid.New()
nuid = n.Next()

// Generate a new crypto/rand seeded prefix.
// Generally not needed, happens automatically.
n.RandomizePrefix()阅读全文

					
				

企业打开云HBase的正确方式，来自阿里云云数据库团队的解读

摘要： 一、HBase的历史由来 HBase是一个开源的非关系型分布式数据库（NoSQL）,基于谷歌的BigTable建模，是一个高可靠性、高性能、高伸缩的分布式存储系统，使用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 一、HBase的历史由来 HBase是一个开源的非关系型分布式数据库（NoSQL）,基于谷歌的BigTable建模，是一个高可靠性、高性能、高伸缩的分布式存储系统，使用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase最初是以Hadoop子项目的形式进行开发建设，直到2010年5月才正式成为Apache的顶级项目独立发展。伴随着互联网时代数据的澎湃增长，HBase作为基础存储系统得到了快速发展与应用，大...阅读全文

Golang：线程 和 协程 的区别

作者：林冠宏 / 指尖下的幽灵 掘金：juejin.im/user/587f0d… 博客：www.cnblogs.com/linguanh/ GitHub ： github.com/af913337456… 腾讯云专栏： cloud.tencent.com/developer/u… 目录 前言 协程 协程的特点 第 1 和 第 2 点 特点中的第 3 和 第 4 点 和线程的整体对比 前言 国庆愉快各位，距离上次发文快两个月了，19年也快结束了。现在的总结更多是放在了草稿 而没有发出，这次详细分享下在 Go 中，线程和协程的区别及其关系。 协程 协程，英文名Coroutine。但在 Go 语言中，协程的英文名是：gorutine。它常常被用于进行多任务，即并发作业。没错，就是多线程作业的那个...阅读全文

为什么那么多人用GO？GO语言的优势在哪里？

Go语言最早并不是一个Google的正式项目，而是作为一个“20%”的项目出现。直到2009年，它被设计成一种系统编程语言，用于具有Web服务器、存储集群或类似用途的大型中央服务器的系统编程语言，目前Go Team有稳定的发布周期，大约半年一个新的版本，目前最新为1.9版本。对于高性能的分布式系统，GO语言无疑比大多数其他语言更高效。它提供了大量的并行支持，这对于游戏服务端的开发而言是再好不过了。传统的语言如C++，大家花费太多时间来学习如何使用这门语言，而不是如何更好的表达写作者的思想，同时编译花费的时间实在太长，对于编写-编译-运行这个链条来说周期太长。动态语言如Python，由于没有强类型的约束，很多问题需要在运行时发现，这种低级错误更应该交给编译器来发现。在人力成本越来越高、机器越来...阅读全文

golang 中sync.WaitGroup以及select简单实用

golang中sync.WaitGroup的作用类似于channel，可实现并发。 package main import ( "fmt" "runtime" "sync" ) func main() { runtime.GOMAXPROCS(runtime.NumCPU()) //多核 wg := sync.WaitGroup{} wg.Add(10) for i := 0; i < 10; i++ { go f(&wg, i) } wg.Wait() } func f(w *sync.WaitGroup, i int) { fmt.Println(i, "go") w.Done() } golang中select是配合channel使用的。 package main import ( "...阅读全文

go并发的问题

package main import ( "yangsheng/models" //"fmt" "runtime" //"time" //"os" ) func getinfo(id int,url string,a,b chan bool) { a<-true isok:=false defer func() { b <-isok }() info:=models.GetInfo(url) if len(info["Title"]) > 0 { var inmodel models.Info var durls models.Deurls inmodel.Url = inf...阅读全文

年底求兼职

从1.0开始，写过爬虫，做过抢购，也写过小型业务管理系统，小工具。求个兼职，有合适的请联系...阅读全文

goroutine 使得并发简单

http://blog.teamtreehouse.com/goroutines-concurrenc...阅读全文

Golang从入门到深入

为什么学习Golang语言 Go语言为并发而生 Go语言的并发是基于 goroutine 的，goroutine 类似于线程，但并非线程。可以将 goroutine 理解为一种虚拟线程。Go 语言运行时会参与调度 goroutine，并将 goroutine 合理地分配到每个 CPU 中，最大限度地使用CPU性能。开启一个goroutine的消耗非常小（大约2KB的内存），你可以轻松创建数百万个goroutine。goroutine的特点： goroutine具有可增长的分段堆栈。这意味着它们只在需要时才会使用更多内存。 goroutine的启动时间比线程快。 goroutine原生支持利用channel安全地进行通信。 goroutine共享数据结构时无需使用互斥锁。 Go性能强悍 数据来...阅读全文

为什么并发里面的打印信息不回在控制台显示?

https://wide.b3log.org/playground/c8be3a89ce67fb5d89ad04a63e1e04e5.go 控制台不会显示"并发运行中...阅读全文

golang 实现并发计算文件数量

package main import ( "fmt" "io/ioutil" "os" ) func listDir(path string, ch chan int) { fmt.Println("waiting ..... read path:" + path) files, _ := ioutil.ReadDir(path) FileSlice := []string{} DirSlice := []string{} for _, fi := range files { if fi.IsDir() { //listDir(path + "/" + fi.Name()) DirSlice = append(DirSlice, path+"/"+fi.Name()) //fmt.Prin...阅读全文

分布式 NoSQL 数据库Titan

Titan 是美图公司基于 [TiKV](https://www.oschina.net/p/tikv) 开发的一个 NoSQL 数据库，Titan 使用完全兼容 Redis 的通讯协议。 主要特性： 完全兼容 Redis 协议 完全支持强一致性的分布式事务 支持多租户模式 无缝扩展 高可用性 下面是 Titan 的一些性能测试结果：  ![Set command benchmark](https://static.oschina.net/uploads/img/201811/19071752_fl...阅读全文

Go 多态功能实现

Go 多态功能实现 Go本身不具有多态的特性，不能够像Java、C++那样编写多态类、多态方法。但是，使用Go可以编写具有多态功能的类绑定的方法。为什么这么说呢？因为Go使用struct构建类，根据不同类调用不同的方法。下面将展示如何使用Go编写多态功能。 package main import ( "fmt" ) type strCase struct{} type intCase struct{} func (text strCase) Add(x string, y string) string { return x + y } func (number intCase) Add(x int, y int) int { return x + y } func StartPolymorp...阅读全文

golang 的channel是并发安全的吗

x =<- chanIndex 这样的操作如果存在很多访问量，需要加锁吗，是这个问题...阅读全文

Golang全面深入系列

What you are wasting today is tomorrow for those who died yesterday; what you hate now is the future you can not go back. 你所浪费的今天是昨天死去的人奢望的明天； 你所厌恶的现在是未来的你回不去的曾经。 接口 1 - Golang interface接口全面理解(一) 2 - Golang interface接口全面理解(二) 并发 1 - 并发介绍 2 - Goroutine 3 - Channle 4 - 带缓冲的channle和工作池 5 - Select 6 - Mutex Defer和错误处理 1 - defer 2 - 错误处理 3 - 自定义错误 4 - p...阅读全文

并发环境应用map的解决方案

众所周知,golang的map是非协程安全的(go1.6版本以后,go1.6之前读安全),而并发读写map的需求应该是很普遍的。举例如下： package main import "fmt" func main() { a := make(map[int]bool, 0) for i:=0;i<100;i++{ go func() { for i := 0; i < 20000; i++ { a[i] = false fmt.Printf("%v %v\n",i,a[i]) } }() } } 运行报错:fatal error: concurrent map writes1.9版本之前，官方提供的解决方案是自己封装个带同步锁的struct。例如: package main import ( ...阅读全文

Go语言并发例子

package main import ( "fmt" "runtime" ) func main() { runtime.GOMAXPROCS(runtime.NumCPU()) c := make(chan bool, 10) for i := 0; i < 10; i++ { go Go(c, i) } for i := 0; i < 10; i++ { <-c } } func Go(c chan bool, index int) { a := 1 for i := 0; i < 100; i++ { a += i } fmt.Println(index, a) c <- true } package main import ( "fmt" "runtime" "sync" ) fu...阅读全文

go语言_异步编程_example.01

package main import ( "log" "math/rand" "time" ) func UploadNetvalueFile(done chan bool) { //利用随机函数模拟不同文件的处理时间 r := rand.New(rand.NewSource(time.Now().UnixNano())) x := r.Intn(20) log.Println("UploadNetvalueFile: ", x) time.Sleep(time.Second * time.Duration(x)) log.Println("UploadNetvalueFile OK") done <- true } func UplaodSaleFareFile(done chan bo...阅读全文

使用 Go Channels 创建爬虫

https://jorin.me/use-go-channels-to-build-a-crawle...阅读全文

Dig101: Go之for-range排坑指南

好久没写了，打算今年做个Dig101系列，挖一挖技术背后的故事。 > Dig101: dig more, simplified more and know more golang常用的遍历方式，有两种： for 和 for-range。 而for-range使用中有些坑常会遇到，今天我们一起来捋一捋。 文章目录 - 0x01 遍历取不到所有元素指针? - 0x02 遍历会停止么？ - 0x03 对大数组这样遍历有啥问题？ - 0x04 对大数组这样重置效率高么？ - 0x05 对 map 遍历时删除元素能遍历到么？ - 0x06 对 map 遍历时新增元素能遍历到么？ - 0x07 这样遍历中起 goroutine 可以么？ 可以移步 **[微信版地址](https://mp.weixin....阅读全文

golang电子书小爬虫

NovelSpiderFor-YanBeiTang 这里是项目传送门 这是一个专门用于爬取图书网站雁北堂（http://www.ebtang.com）的小爬虫，可以将网站上的书籍以txt格式保存到本地 作为一个推理迷，一直想看一下被称为国内新本格推理巅峰的作品《岛田流杀人事件》，苦于资源稀少，找了好久都找不到，最终找到雁北堂，不过必须在web或者app上看，所以动动手，写一个爬虫，爬下来自己转格式，想去哪儿看就去哪儿看。 使用说明： 1.下载并开启main.exe 1.png 2.进入雁北堂获取小说id并输入 2.png 3.输入Id自动运行爬虫 3.png 4.爬虫运行完毕，生成txt 4.png 5.pn...阅读全文

go语言并发

http://pragprog.com/magazines/2012-06/the-beauty-of-concurrency-in-go go并发之美 http://www.kankanews.com/ICkengine/archives/28410.shtml go简洁的并发 http://floss.zoomquiet.io/data/20120427161151/index.html Go的并发模式：超时、继续  版权声明：本文为博主原创文章，未经博主允许不得转载...阅读全文

Go语言小爬虫－－第一步

解析新浪手机新闻网页，获取5条新的新闻的url存入到数据库 package linksql import ( "database/sql" "log" _"github.com/go-sql-driver/mysql" ) func Open_url_table() *sql.DB{ db,err:=sql.Open("mysql","root:root@/mysql") Checkerror(err) return db } func Insertlink(id int,src string,url string){ db:=Open_url_table() stmt,err1:=db.Prepare("insert into url_table(id,src,url) values(?,...阅读全文

AWS-GO-SDK NOTES

AWS-GO-SDK 问题 EC2使用Role访问AWS服务时出现EC2MetadataError。 由于账户下s3资源太多，为了快速统计账号下s3的使用情况，用go写了个并发获取s3中对象信息的功能，频繁出现如下错误： listing mystorage objects: NoCredentialProviders: no valid providers in chain ，但是在命令行下 aws s3api list-object 命令返回都是正常的。这是由于程序中建立了过多会话，每次建会话的时候都要去EC2-metadata 服务取临时认证，取认证请求的频率过高导致了异常。 $(function () { $('pre.prettyprint code').each(function ...阅读全文

Golang 爬虫教程 | 解决反爬问题 | 做一个文明的爬虫

本文首发于 https://imagician.net/archives/93/ 。欢迎到我的博客 https://imagician.net/ 了解更多。 前排提示：本文是一个入门级教程，讲述基本的爬虫与服务器关系。诸如无头浏览器、js挖取等技术暂不讨论。 面对大大小小的爬虫应用，反爬是一个经久不衰的问题。网站会进行一些限制措施，以阻止简单的程序无脑的获取大量页面，这会对网站造成极大的请求压力。 要注意的是，本文在这里说的是，爬取公开的信息。比如，文章的标题，作者，发布时间。既不是隐私，也不是付费的数字产品。网站有时会对有价值的数字产品进行保护，使用更复杂的方式也避免被爬虫“窃取”。这类信息不仅难以爬取，而且不应该被爬取。 网站对公开内容设置反爬是因为网站把访问者当做“人类”，人类会很友善...阅读全文

golang 内存池

一般来说，内存池都是采用预分配的方式，分为固定大小的和非固定大小块，固定大小的内存效率高，非固定大小灵活。同时，分为单线程和多线程版的，单线程不需要考虑并发问题。 一般内存池的实现思想：分配一块比较大多内存，把这块内存分成大小相等的块，即固定大小，第一块要保存必要的信息，比如nfirst（第一块可分配到块），nsize（共分配了多少），nfree（可分配块大小），pnext（若是内存池不够，分配一块growth，pnext指向下一块），p(保存第一可分配内存块的地址)，同时还需要poolmanage来统一做管理。每一个内存块的头两个字节记录下一个可分配的内存块的地址，因为是固定大小的，所以可以根据p和第几块算出地址。头两个字节分配的好处就是分配之后内存可复用，注意在归还到内存池的时候头两个字...阅读全文

深入Go UDP编程

用户数据报协议（User Datagram Protocol，缩写为UDP），又称用户数据报文协议，是一个简单的面向数据报(package-oriented)的传输层协议，正式规范为 RFC 768。UDP只提供数据的不可靠传递，它一旦把应用程序发给网络层的数据发送出去，就不保留数据备份（所以UDP有时候也被认为是不可靠的数据报协议）。UDP在IP数据报的头部仅仅加入了复用和数据校验。 由于缺乏可靠性且属于非连接导向协议，UDP应用一般必须允许一定量的丢包、出错和复制粘贴。但有些应用，比如TFTP，如果需要则必须在应用层增加根本的可靠机制。但是绝大多数UDP应用都不需要可靠机制，甚至可能因为引入可靠机制而降低性能。流媒体（流技术）、即时多媒体游戏和IP电话（VoIP）一定就是典型的UDP应用...阅读全文

go-并发与并行

并行：单核CPU是永远不可能并行的 1 单个CPU多线程实现的伪并行，是一个CPU在多个程序之间切换，让我们以为是同事执行。而实际上就是线性执行； 2多个CPU同时负责多个线程才是并行。 并发：只要你的代码写了多线程就是 并发。 并发在于结构，并行在执行！！ http://www.vaikan.com/docs/Concurrency-is-not-Parallelism/#goodby...阅读全文

Go 并发追踪工具 GoTrace

GoTrace 是一款并发流量追踪工具，采用3D WebGL技术实现可视化预览。该工具旨在让开发者更好的了解Go并发。 ![image](http://static.oschina.net/uploads/space/2016/0720/164142_Vk0W_1774694.png...阅读全文

Go 爬虫之 colly 从入门到不放弃指南

最近发现知乎上感兴趣的问题越来越少，于是准备聚合下其他平台技术问答，比如 segmentfault、stackoverflow 等。 要完成这个工作，肯定是离不开爬虫的。我就顺便抽时间研究了 Go 的一款爬虫框架 colly。 概要介绍 colly 是 Go 实现的比较有名的一款爬虫框架，而且 Go 在高并发和分布式场景的优势也正是爬虫技术所需要的。它的主要特点是轻量、快速，设计非常优雅，并且分布式的支持也非常简单，易于扩展。 如何学习 爬虫最有名的框架应该就是 Python 的 scrapy，很多人最早接触的爬虫框架就是它，我也不例外。它的文档非常齐全，扩展组件也很丰富。当我们要设计一款爬虫框架时，常会参考它的设计。之前看到一些文章介绍 Go 中也有类似 scrapy 的实现。 相比而言，...阅读全文

开源的高性能 golang 日志库elog

开源的高性能 golang 日志库elog ================ https://github.com/starjiang/elog ------------------------------------ global logger model ================== ``` func main() { flag.Parse() defer elog.Flush() for i := 0; i < 100; i++ { go func() { elog.Info("hello", "world") }() } time.Sleep(time.Second) } ```...阅读全文

golang并发读取文件并开启工作池处理数据

func main() { strCh := make(chan string) wg := sync.WaitGroup{} for i := 0; i < 20; i++ { wg.Add(1) go func() { defer wg.Done() for str := range strCh { log.Info.Println(str) } }() } ReadFiles2Chan(filePaths, strCh) close(strCh) wg.Wait() log.Info.Println("正常退出") } // 并发读取文件将文件行放入管道 func ReadFiles2Chan(filePaths []string, strCh chan string) { var w...阅读全文

并发(Concurrency)不是并行(Parallelism) 中英文版：rob 的 演讲 PPT，虽然是 2012 年的

中文版：http://www.vaikan.com/docs/Concurrency-is-not-Parallelism/#title-slide 英文版：https://talks.golang.org/2012/concurrency.slid...阅读全文