type KV struct { count int keys []string hash map[string]interface{} lock sync.RWMutex } // 添加kv键值对 func (this *KV) Set(k string, v interface{}) { this.lock.Lock() if _, ok := this.hash[k]; !ok { this.keys = append(this.keys, k) sort.Strings(this.keys) this.count++ } this.hash[k] = v this.lock.Unlock() } // 获取数据长度 func (this *KV) Count() int { this...阅读全文
https://www.cnblogs.com/cnsanshao/p/7084808.html 实例如下 package main import ( "bytes" "fmt" "io/ioutil" "net/http" "strings" "sync" ) func httpGet() { resp, err := http.Get("http://10.84.135.139:8089/inter/xpvbvan/inter?method=config&type=set&value=[]&key=wap_recommend") if err != nil { // handle error } defer resp.Body.Close() body, err := ioutil.Re...阅读全文
Python爬虫和Web开发均是与网页相关的知识技能，无论是自己搭建的网站还是爬虫爬去别人的网站，都离不开相应的Python库，以下是常用的Python爬虫与Web开发库。 **1.爬虫库** beautifulsoup4、urllib2、lxml和requests是学习Python爬虫必备的库，必须要掌握，当然有的同学说爬网页不是也可以用正则表达式吗，确实可以但是会很不方便,因为bs4和lxml都有便捷的接口,一般我们都是和正则结合使用，如果对速度有要求的话，建议用lmxp,它比bs4 速度要快很多。 **2.Scrapy** 爬虫的世界里面有没有懒人专用的框架，当然有啦,scrapy就是其中比较有名的，可以快速,高层次的web抓取网页，并从web站点的页面中提取结...阅读全文
自“灰子学技术”公众号原文链接：https://mp.weixin.qq.com/s/MAur04OmVPH5sb1tMFExNA一、问题描述：一次使用Go map的过程中，发现一个现象，map里面的元素是数据结构的话，该元素的属性不能直接赋值。会提示编译错误：./prog.go:11:15: cannot assign to struct field testMap[1].x in map例子如下：编译错误：./prog.go:11:15: cannot assign to struct field testMap[1].x in map二、原因：Go 里面的map不是并发安全的，导致了这个情况的出现，这与map在Go中的底层实现息息相关。（备注：map的实现后续会补充。）三、解决方法：...阅读全文
golang 语言目前唯一的高性能 goroutine local storage 实现，每秒可以完成数百万次Get/Set。 ``` Operate Performance Benchmark_Goid 5.30 ns/op Benchmark_Set 271 ns/op Benchmark_Get 155 ns/op Benchmark_Set_4Threads 129 ns/op Benchmark_Get_4Threads 58.6 ns/op ``` 使用起来极为简单： ```go import "github.com/yyzybb537/gls" // 设置协程局部变量 gls.Set("Value", 1) // 获取协程局部变量 var i int = gls.Ge...阅读全文
随着人工智能的发展与应用，Python编程语言受到世界各界人士的关注，Python工程师也成为一个热门职业，就业薪资高，发展前景广阔。 Python是一门简单的编程语言，学习相对更加轻松容易，初学者很容易入门，但想要学好，成为一名优秀的Python工程师就不是那么容易的事情了，需要受到很多因素的影响，以下是成为一名优秀的Python工程师需要满足的条件： **一、坚持和自信** 做任何一件事，贵在坚持，要坚信自己能够学好，是Python学习过程比不可少的心态，当遇到学习上的难点时，才能更有耐心的解决与积累，完整的进行Python课程的学习。 **二、选择适合自己的教材** 每个人的特点不同，有些人喜欢看书，有些人喜欢听老师讲课，选择适合自己的学习方式，才能更快...阅读全文
每个程序都不可避免地要进行异常处理，爬虫也不例外，假如不进行异常处理，可能导致爬虫程序直接崩掉。以下是网络爬虫出现的异常种类。 **URLError** 通常，URLError在没有网络连接(没有路由到特定服务器)，或者服务器不存在的情况下产生。 **HTTPError** 首先我们要明白服务器上每一个HTTP 应答对象response都包含一个数字“状态码”，该状态码表示HTTP协议所返回的响应的状态，这就是HTTPError。比如当产生“404 Not Found”的时候，便表示“没有找到对应页面”，可能是输错了URL地址，也可能IP被该网站屏蔽了，这时便要使用代理IP进行爬取数据。 **两者关系** 两者是父类与子类的关系，即HTTPError是U...阅读全文
初学golang，从网上修改了一个聊天室的代码，并发时遇到了一些问题。 ##服务端源码 ``` package main import ( "fmt" "net" "os" "sync" ) var ( readySendCount int sendCount int reciveCount int chanreadySendCount int chansendCount int chanreciveCount int lock sync.Mutex ) func main() { tcpAddr, err := net.Re...阅读全文
利用一个chan执行一个并发的任务， 整个任务的最大耗时是最耗时的那个子任务 func SendChan(data int){ t := 10 - data if data == 5{ t = 20 } time.Sleep(time.Duration(t*1e9)) C <- data } func main(){ for i:=0; i<10; i++{ go SendChan(i) } for i:=0; i<10; i++{ var data int = <- C fmt.Println("data:", data) } ...阅读全文
1. 从python开发角度看go语言 （1）部署简单：Go 编译生成的是一个静态可执行文件，除了 glibc 外没有其他外部依赖。完全不需要操心应用所需的各种包、库的依赖关系，大大减轻了维护的负担。 （2）并发性好。Goroutine 和 channel 使得编写高并发的服务端软件变得相当容易，很多情况下完全不需要考虑锁机制以及由此带来的各种问题。 （3）良好的语言设计。Go 的设计是非常优秀的：规范足够简单灵活。 （4）执行效率高。虽然不如 C 但是已经超过C++和java，和解释型语言相比，更是相差一个数量级，比如python，ruby。 备注： 编译型语言：在程序执行之前，有一个单独的编译过程，将程序翻译成机器语言，以后执行这个程序的时候，就不用再进行翻译了。 解释型语言：是在运行的...阅读全文
http://t.cn/RoT0mM...阅读全文
"github.com/PuerkitoBio/goquery" func GetJokes() { doc,err:=goquery.NewDocument("http://www.qiushibaike.com") if err!=nil{ log.Fatal(err) } doc.Find(".content").Each(func(i int,s *goquery.Selection){ fmt.Println(s.Text()) }) } func main(){ fmt.Println("hello world") GetJokes() } can't load package: C:\Go\src\testapp\ma...阅读全文
https://github.com/alecthomas/gometalinte...阅读全文
一.Go发展史 想要了解一门语言，少不了他的发展史。 这里简单的介绍一下其历史年度关键节点。 1.里程碑 Go 也叫 Golang 起源于2007年 2009年首次公开发布 2010年谷歌投入使用 2011年被Google AppEngine支持 2012年正式版Go1 2015年发布Go1.5，移除了“最后残余的C代码” 目前最新版本为Go1.10 不得不说Go是一门很年轻的语言，是一个零零后。 二.Go特点 我们学习一门语言总归是出于各种各样的原因的，他会是各式各样的原因。 那既然现在我有了一个想要了解 Go 的一个意愿，肯定要先知道该语言有那些特色，或者说有那些吸引人的地方的说。 1.效率高 — 图片来自百度 Go 被誉为“21世纪的 C 语言”。 正如 Go 语言的 Logo 这只萌...阅读全文
** 导语：**随着以Docker为代表的容器技术在国内的迅速发展，[容器云][1]也逐渐被广大开发者所熟知，但容器云（CaaS）相比传统的云主机（IaaS）在实际应用中还存在着一些鸿沟。为此，我们试图以通俗精炼的语言向广大开发者介绍容器的特点，应用场景以及优势等。【深入浅出容器云】系列文章是由时速云出品，本文是第一篇，欢迎大家不吝赐教。 ### 1.高密度 高弹性 现有的云计算平台在面对大规模、高弹性计算的需求时往往会遇到一些瓶颈： 1.难以在短时间内启动大规模计算资源来应对高并发的需求； 2.传统IaaS的弹性计算性价比低，每个虚拟机都要消耗额外的系统资源。 由于Docker容器的启动一般在秒级实现，这相比传统的虚拟机方式要快得多。 另外 Docker 对系统...阅读全文
基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？最好不要因为你的服务经常出问题，导致我这边的业务跟着遭殃。最近我所在的项目中也自己搭了一套小型的“高可用”Redis服务，在此做一下自己的总结和思考。首先我们要定义一下对于Redis服务来说怎样才算是高可用，即在各种出现异常...阅读全文
GO Json author: qcliudate: 2015/07/21 Abstrct 介绍go语言中json的使用 json json是一种传输格式，类似与XML，与XML相比可读性略差，但是传输效率高。 GO Json go语言中提供了json的encoder，可以将数据结构转换为json格式。在使用之前，需要导入包 import "encoding/json" Encode 使用 func NewEncoder(w io.Writer) *Encoder 创建一个json的encode。 file, _ := os.Create("json.txt") enc := json.NewEncoder(file) err := enc.Encode(&v) 数据结构v会以json格式写...阅读全文
Go语言最早并不是一个Google的正式项目，而是作为一个“20%”的项目出现。直到2009年，它被设计成一种系统编程语言，用于具有Web服务器、存储集群或类似用途的大型中央服务器的系统编程语言，目前Go Team有稳定的发布周期，大约半年一个新的版本，目前最新为1.9版本。 对于高性能的分布式系统，GO语言无疑比大多数其他语言更高效。它提供了大量的并行支持，这对于游戏服务端的开发而言是再好不过了。 传统的语言如C++，大家花费太多时间来学习如何使用这门语言，而不是如何更好的表达写作者的思想，同时编译花费的时间实在太长，对于编写-编译-运行这个链条来说周期太长。动态语言如Python，由于没有强类型的约束，很多问题需要在运行时发现，这种低级错误更应该交给编译器来发现。 在人力成本越来越高、机...阅读全文
数字货币交易所的盈利模式相对来说比较简单，交易类型也不复杂。近几年，大批交易所应运而生，现如今交易所都是以交易流量来进行盈利（维持生计）。当市场波动性不是特别大的时候，用户交易频次就会降低，就会迫使交易所必须找寻一件途径放大市场波动性，增大投资属性，从而为交易所带来流量（用户）与盈利点。合约恰好符合这一特性，而在合约中永续合约的杠杆倍数更高，就会将市场波动性放大到和杠杆等比的倍数，波动性更大，能够给交易所带来流量和资金，因而永续合约备受交易所青睐。永续合约的特点：1、永续合约不会交割，可以一直持有，比较适合做长线的投资者，也能节省由于交割带来的手续费。永续合约的杠杆可选择范围也是比较大，可以从1到100倍。2、在标记场内价格的同时，实时调取、计算全球主流交易所现货价格作为指数价格参考，综...阅读全文
课程介绍 本课程针对分步式文件存储系统的实现进行讲解，首先分析为什么要使用这种分步式存储系统，以及这种系统在设计时需要注意的问题，并比较现在市面常见的分步式存储系统（HDFS、Ceph等），展示阿里Pangu系统针对其中问题的解决方法，并结合Pangu系统说明分步式存储系统的设计要点。 讲师介绍 姚文辉，2009年加入阿里巴巴，从事阿里巴巴自主研发的云计算平台—飞天分布式操作系统中的分布式存储系统—盘古。 课程目标 • 学习分步式文件存储系统的实现 适合人群 • 云计算开发者 课时列表 • 课时1：分布式存储客观需求 • 课时2：小概率事件对分布式系统的挑战 • 课时3：常见分布式系统－终版 • 课时4：分布式设计要...阅读全文
我们在找工作时,经常在招聘信息上看到有这么一条:有构建大型互联网服务及高并发等经验,想到高并发,我们第一想到了媒体上经常出现的新闻阿里双11每秒处理xx万订单,瞬间觉得高并发是一种很屌的技术,很高大上,如果像笔者这种没做过大型服务的普通程序员,在此根据网上的资料,对高并发写一下我个人的看法 高并发的概念 这里我引用一段架构师之路公众号究竟啥才是互联网架构高并发中的一段话来描述: 高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求 那么很多请求,具体达到多少请求才算是高并发系统呢?这个也没有明确数量上的定义,根据网上很多大型互联网公司的相关高并发博客,一般PV在千万级别以上的公司才会涉及到这个概念,所以...阅读全文
直接按目标ip并发的方式,将ping封装为协程函数 go本身没有提供等待协程join的方法,需要自己实现 /*简单协程版*/ package main import ( "ping" "fmt" "time" //"os" "strconv" ) var fin chan string; //用于实现jionall func pingr(host string,timeout int){ t1:=time.Now().UnixNano() alive,err:=ping.Ping(host,timeout) //alive,err:=true,0 t2:=time.Now().UnixNano() fmt.Println(host,alive,(t2-t1)/1000000,err); fi...阅读全文
本系列整理了10个工作量和难度适中的Golang小项目，适合已经掌握Go语法的工程师进一步熟练语法和常用库的用法。问题描述：实现一个网络爬虫，以输入的URL为起点，使用广度优先顺序访问页面。要点：实现对多个页面的并发访问，同时访问的页面数由参数 -concurrency 指定，默认为 20。使用 -depth 指定访问的页面深度，默认为 3。注意已经访问过的页面不要重复访问。扩展：将访问到的页面写入到本地以创建目标网站的本地镜像，注意，只有指定域名下的页面需要采集，写入本地的页面里的元素的href的值需要被修改为指向镜像页面，而不是原始页面。实现import ( "bytes" "flag" "fmt" "golang.org/x/net/html" "io" "log" "net/h...阅读全文
前言 好久不见，Python基础系列完结也有段时间了，希望帮到了大家。 从今天开始我将开始更新一个新的系列：Python爬虫学习笔记。 如你所见，本系列并不是复杂完备的教程，主要还是和大家一起分享我在学习Python爬虫的一些想法以及知识总结。 如果你已经看完了我之前的Python基础系列文章，对Python的基本语法有了一定的概念，那么可能我接下来要开始写的东西可能会对你熟练运用Python有所帮助。 Python爬虫基础知识 1. 爬虫的基本概念 爬虫是一类用于信息搜集的程序，主要用于在一个或多个网页中爬取数据并进行保存、分类、分析等操作，目前最大的爬虫应该是各类搜索引擎，搜索引擎的实现原理简单来说就是他们部署了很多24小时不停扫描公网网站信息的大型爬虫程序，这些程序将爬取到的数据分类整...阅读全文
13.蛤蟆笔记go语言——并发调度器 go支持创建成千上万并发任务. l 线程多路复用。 l 极小自定义初始栈。 l 任务在多个线程间切换。 三种抽象模型协作 如下图1： 系统限制，允许调整： 如下图2： 创建新并发任务。 如下图3： 创建系统线程执行任务。 如下图4 执行 如图5： 连续栈替代分段栈 如下图6...阅读全文
使用github.com/gorilla/websocket 并发conn.WriteMessage(websocket.TextMessage, []byte(content))写入时抛出异常concurrent write to websocket connectio...阅读全文
前言 在游戏设计中一个最基本的功能就是处理屏蔽字、敏感字，至于为什么这个需求这么重要？你懂的。在网上搜了很多资料，发现主要有三种实现方式： 对于输入的一句话message， 1、循环使用所有的屏蔽词去message中查找，看是否存在，如果存在则判定为敏感词。 优点：简单，只要学过几个月编程的都会； 缺点：效率太低，而且效果不是太好； 2、将有共同起始内容的屏蔽词分为一组，然后再使用方式1。 优点：比方案1效率高一些； 缺点：效率仍然很低，而且效果太差； 3、使用DFA算法。 优点：效率高，内存消耗低； 缺点：与前两者相比，实现复杂。 综上：为了应对越来越多的敏感词，寻找一个高效率的敏感词过滤算法就摆在了各个程序员的面前。而DFA是所有方法里面效率最高的。 在网上看了很多现有的实现方式，觉得存...阅读全文
// 通过封装atomic.Value原子值类型，可以实现安全存储不会引发panic type atomicValue struct { v atomic.Value t reflect.Type } func NewAtomicValue(example interface{}) (*atomicValue, error) { if example == nil { return nil, errors.New("atomic value: nil example") } return &atomicValue{ t: reflect.TypeOf(example), }, nil } func (av *atomicValue) Store(v interface{}) error { ...阅读全文
原文讲到CAS是举了这么个例子： ```go func addValue(delta int32) { for { v := atomic.LoadInt32(&value) if atomic.CompareAndSwapInt32(&value, v, (v + delta)) { break } } } ``` 为何不直接用AddInt32，而是搞个这么费劲到for循环？...阅读全文
package main import ( "fmt" ) func sum(values []int, resultChan chan int) { sum := 0 for _, value := range values { sum += value } resultChan <- sum //将运算结果写到channel中 } func main() { values := []int{1, 2, 3, 4, 5, 6, 7, 8, 9, 10} //定义并初始化了一个大小为10的数字数组 resultChan := make(chan int, 2) //定义大小为2的channel go sum(values[:len(values)/2], resultChan) //开启协程...阅读全文
WindTurbine 是用 Go 语言实现的高性能 PT tracker 服务器，需与 WindPT 配合使用。 手动编译项目
$ go get github.com/kinosang/WindTurbine $ cd $GOPATH/src/github.com/kinosang/WindTurbine $ godep restore $ make阅读全文
go是21世纪的C语言，也是云计算时代的C语言，它的诞生是为了有更高的开发效率，它于2009年9月加入开源语言的大家庭，2012年正式发布。 go的最大优势就是执行速度和开发效率都很出色，而且从语言级别上支持并发。执行速度快是因为go是编译型的静态语言，它在执行速度上比解释型语言具有先天的优势。生产效率高是基于go的语法和结构简明，易学易用。 go出现之前，无论汇编语言、还是动态脚本语言，在执行效率和开发效率上都不能兼备。 执行效率 execution speed： C/C++ > Java > PHP 开发效率 developing efficiency： PHP > Java > C/C++ go的不足之处就是年轻，有些方面还不够成熟和丰富，但它正在成长的道路上迅速迈进，希望在中国能今早...阅读全文
在8核cpu 15G内存的设备上开启10万个协程处理10万条数据 没有任何log打印的情况下 耗时4min,查看设备信息 cpu最高峰才使用141% 内存最高才占用8% ,为什么这么慢呀,协程并发处理感觉没用...阅读全文
Golang——21_并发编程 - u012869599的博客 - CSDN博客golang是如何实现高并发的？深入领会MPG模式 - zzr881的博客 - CSDN博客 总感觉go的底层模型在解决高并发也不是很好.....因为两个G之间的传递时通过channel传和取而且还是阻塞的...可以设想一下当都1000个G相互之间传取值性能也不是很好。[转]Golang号称高并发，但高并发时性能不高 - ihxz - 博客园将go的线程模型和java的线程模型对比其实适合两个不同应用场景。java对比go在解决高并发的时候，go相对于java来说是省去了公用内存这一步改成了1对1通行...阅读全文
服务器并发的方式有很多种 1.通过多进程或者多线程的方式，现在这种模式基本上已经不用 2.epoll和IOCP回调的方式，不符合人们的习惯 3.使用协程（轻量级线程，创建、销毁的代价很小）,协程在逻辑上上顺序执行 其中属于erlang和golang在协程并发方面做的比较好 package mainimport ( "fmt")func getResult(data []int, res chan int) { var sum int sum = 0 for _, v := range data { sum += v } res <- sum}func main() { var res = make(chan int) var data = []int{1, 2, 3, 4, 5, 6, 7,...阅读全文
c基于内存的Redis应该是目前各种Web开发业务中最为常用的Key-Value数据库了，我们经常在业务中用其存储用户登陆态(Session存储)，加速一些热数据的查询(相比较MySQL而言，速度有数量级的提升)，做简单的消息队列(LPUSH和BRPOP)、订阅发布(PUB/SUB)系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。 不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性?最好不要因为你的服务经常出问题，导致我这边的业务跟着遭殃。最近我所在的项目中也自己搭了一套小型的“高可用”Redis服务，在此做一下自己的总结和思考。 首先我们要定义一下对于Redis服务来说怎样才算是高可用，即在各种出...阅读全文
# Go Movies > 一个基于golang的爬虫电影站，效果站： [https://go-movies.hezhizheng.com/](https://go-movies.hezhizheng.com/) > Github： [https://github.com/hezhizheng/go-movies](https://github.com/hezhizheng/go-movies)  ## 使用安装 ``` # 下载 git clone https://github.com/hezhizheng/go-movies ...阅读全文
之前换了份工作,不再是单纯的Web开发了,要学习的东西真的挺多的。入职的第1天,就让我入手写个爬虫,只是这个爬虫没有采集几个亿数据量的业务场景。于是,整理了下需求,简单的设计了下方案就草草开始了。小B是我大学时候的舍友,那天这哥们约我吃饭,想看下能否顺带介绍几个妹子。酒过三巡,不胜酒力,于是便聊起了最近的工作。当他知晓我竟然在写爬虫,便起了怜悯之心,觉得我怀才不遇。仿佛写爬虫是件很低级很low的技术活。在他那家公司,招进来的实习生就多多少少会点爬虫,什么nodejs、golang,哪个不是爬虫的好手。没想到我毕业多年,竟然沦落到做实习生的工作,可悲可泣。接着建议我转到Java阵营,如果到他公司去,多多少少也能混个组长的职位。搞得自己只能一番苦笑。不知道从何时起,程序员的世界流行起了鄙视链这玩...阅读全文
自从接触Golang后，已经打算在全部场景使用Golang。 这里，整理下Golang 看过的比较不错的资料。 官方资料 go 文档英文版，无可替代，精炼，必读。 go 文档中文版，翻译问题比较多，tour也有不少bug。英文比较差的好过直接看英文版。 非官方资料 Go语言高级编程 并发模型比...阅读全文
函数time.Since() 计算golang运行的时间是非常有用的性能衡量指标，特别是在并发基准测试中。下面将介绍如何简单地使用Go语言来计算程序运行的时间。 简单地使用Golang的time.Since()函数即可。下面有一个完整例子展示这个用法。 package main import ( "fmt" "time" ) func StartCac() { t1 := time.Now() // get current time //logic handlers for i := 0; i < 1000; i++ { fmt.Print("*") } elapsed := time.Since(t1) fmt.Println("App elapsed: ", elapsed) } fun...阅读全文
#### 非关系数据库的相关问题 * 什么是最终一致性(Eventual Consistency)？ "过程松，结果紧，最终结果必须保持一致性" 最终一致性模型是用于分布式系统中，用来实现高可用性，确保在如果一个更新操作发生，那么最终一定可以读取到这次更新操作的发生。最终一致性在分布式领域广泛使用，采用多个副本形式。如果一个系统实现了最终一致性，那么这个系统可以成为收敛的，或者叫做实现了副本收敛。相比与传统的ACID,最终一致性提供的是BASE(Basic Availablilty, Soft state, Eventual Consistency)服务。 最终一致性缺点：在系统达到副本收敛之前，系统有可能返回任何值。 * NoSQL是如何解决可伸缩性的挑战的...阅读全文
一，go语言的优劣 优点： 1，脚本话的语言，容易上手 2，静态类型+编译型，程序的运行速度有保障（相比较动态类型+解析型的语言高出很多） 3，原生的支持并发编程（降低成本+维护成本，程序可以更好的执行） 劣势： 1，语法没有python和ruby那么多 2，目前go的程序运行速度不及c（已经在一定程度上比java和c++快） 3，第三方库没有主流的开发语言...阅读全文
Post https://api.weixin.qq.com/cgi-bin/message/wxopen/template/send?access_token=: dial tcp: lookup api.weixin.qq.com on 8.8.8.8:53: dial udp 8.8.8.8:53: i/o timeout 线性调用没问题,为什么一大并发调用便这样 ...阅读全文
