欢迎来到我们 [Golang 系列教程](https://studygolang.com/subject/2)的第 20 篇。 **Go 是并发式语言，而不是并行式语言**。在讨论 Go 如何处理并发之前，我们必须理解何为并发，以及并发与并行的区别。 ## 并发是什么？ 并发是指立即处理多个任务的能力。一个例子就能很好地说明这一点。 我们可以想象一个人正在跑步。假如在他晨跑时，鞋带突然松了。于是他停下来，系一下鞋带，接下来继续跑。这个例子就是典型的并发。这个人能够一下搞定跑步和系鞋带两件事，即立即处理多个任务。 ## 并行是什么？并行和并发有何区别？ 并行是指同时处理多个任务。这听起来和并发差不多，但其实完全不同。 我们同样用这个跑步的例子来帮助理解。假如这个人在慢跑时，还在用他的 iPod...阅读全文
##简介## 本项目基于golang开发，是一个开放的垂直领域的爬虫引擎，主要希望能将各个功能模块区分开，方便使用者重新实现子模块，进而构建自己垂直方方向的爬虫。 本项目将爬虫的各个功能流程区分成Spider模块（主控），Downloader模块（下载器），PageProcesser模块（页面分析），Scheduler模块（任务队列），Pipeline模块（结果输出）； ##执行过程简述：## 1. Spider从Scheduler中获取包含待抓取url的Request对象，启动一个协程，一个协程执行一次爬取过程，此处我们把协程也看成Spider，Spider把Request对象传入Downloader，Downloader下载该Request对象中url所对应的页面...阅读全文
# pholcus [](https://godoc.org/github.com/henrylee2cn/pholcus) [](https://github.com/henrylee2cn/pholcus/releases) Pholcus（幽灵蛛）是一款纯Go语言编写的高并发、分布式、重量级爬虫软件，支持单机、服务端、客户端三种运行模式，拥有Web、GUI、命令行三种操作界面；规则简单灵活、批...阅读全文
在我的本地机器上，都是请求输出同样字符串的页面。都是输出"yoyo"字符串 测试： ab -n10000 -c100 url golang结果报告: QPS达到5333.83 PHP7.1.5+nginx1.10.2结果报告: QPS仅为359.42 这个对比真是太恐怖了吧，10倍以上的差距。Golang果然是为并发而生...阅读全文
fasthttp 是 Go 的快速 HTTP 实现，当前在 1M 并发的生产环境使用非常成功，可以从单个服务器进行 100K qps 的持续连接。 HTTP 服务器性能与 net/http 比较 总而言之，fasthttp 比 net/http 快 10 倍 GOMAXPROCS=1 net/http: $ GOMAXPROCS=1 go test -bench=NetHTTPServerGet -benchmem PASS BenchmarkNetHTTPServerGet1ReqPerConn 100000 21211 ns/op 2407 B/op 30 allocs/op BenchmarkNe...阅读全文
"并发 (concurrency)" 和 "并行 ( parallelism)" 是不同的。在单个 CPU 核上，线程通过时间片或者让出控制权来实现任务切换，达到 "同时" 运⾏多个任务的⺫的，这就是所谓的并发。但实际上任何时刻都只有一个任务被执行，其他任务通过某种算法来排队。多核 CPU 可以让同⼀进程内的 "多个线程" 做到真正意义上的同时运，它们之间不需要排队 (依然会发生排队，因为线程数量可能超出 CPU 核数量，还有其他的进程等等。这里说的是一个理想状况)，这才是并行。除了多核，并行计算还可能是多台机器上部署运行。 package main import ( "fmt" "runtime" ) func test(c chan bool, n int) { x := 0 for i...阅读全文
函数time.Since() 计算golang运行的时间是非常有用的性能衡量指标，特别是在并发基准测试中。下面将介绍如何简单地使用Go语言来计算程序运行的时间。 简单地使用Golang的time.Since()函数即可。下面有一个完整例子展示这个用法。 package main import ( "fmt" "time" ) func StartCac() { t1 := time.Now() // get current time //logic handlers for i := 0; i < 1000; i++ { fmt.Print("*") } elapsed := time.Since(t1) fmt.Println("App elapsed: ", elapsed) } fun...阅读全文
众所周知百度是国内最大的搜索引擎、最大的中文网站。百度推出的云服务器、云虚拟主机、域名服务等质量可靠，对于客户的网站来说，能够保证访问的速度、稳定和安全。 百度云虚拟主机是最新的的容器技术、热迁移技术和百度生态能力提供的新一代网站主机服务，能够保证高性能、高可靠性、高安全性和高易用性等，即使是零基础的站长也可以轻松搞定网站的部署、发布、运维、推广，这无论是对企业还是个人网站来说都有非常大的作用。  那么百度云虚拟主机的优势又有哪些？ 高稳定 基于百度云的核心技术，故障服务方面可秒级热迁移...阅读全文
本系列整理了10个工作量和难度适中的Golang小项目，适合已经掌握Go语法的工程师进一步熟练语法和常用库的用法。golang练手小项目系列(1)-位向量golang练手小项目系列(2)-并发爬虫golang练手小项目系列(3)-并发读取文件夹信息golang练手小项目系列(4)-网络聊天室golang练手小项目系列(5)-并发无阻塞缓...阅读全文
Proxy 是 golang 实现的高性能 http，https，websocket，tcp 代理服务器,同时支持内网穿透。 ## Features - 链式代理,程序本身可以作为一级代理,如果设置了上级代理那么可以作为二级代理,乃至N级代理. - 通讯加密,如果程序不是一级代理,而且上级代理也是本程序,那么可以加密和上级代理之间的通讯,采用底层tls高强度加密,安全无特征. - 智能HTTP代理,会自动判断访问的网站是否屏蔽,如果被屏蔽那么就会使用上级代理(前提是配置了上级代理)访问网站;如果访问的网站没有被屏蔽,为了加速访问,代理会直接访问网站,不使用上级代理. - 域名黑白名单，更加自由的控制网站的访问方式。 - 跨平台性,无论你是widows,linux,还是mac,甚至是树莓派...阅读全文
上次用Scala写了个爬虫。最近在闲工夫之时，学习Go语言，便用Go移植了那个用Scala写的爬虫，代码如下： package main import ( "fmt" "io/ioutil" "net/http" "regexp" ) var ( ptnIndexItem = regexp.MustCompile(`< atarget="_blank" href="(.+\.html)" title=".+" >(.+)`) ptnContentRough = regexp.MustCompile(`(?s).*
仓库地址：https://github.com/zhangwei412827/ImageSpider 欢迎sta...阅读全文
Go Chassis 是华为云 CSE 开源的一个用 Go 语言编写的微服务快速开发框架。借助 CSE Go Chassis 进行微服务开发可最大化地降低开发门槛，提升产品上线速度,同时可以获得微服务运行时高可靠性保证、运行时动态治理等一系列开箱即用的能力。 作为业界首款商用级别的Go语言微服务框架，Go Chassis 已具备支持企业级应用的核心特性： **可定制的通信协议**：除了现有支持的 HTTP/ Highway RPC 协议外，用户可自行扩展协议。支持 Go Chassis 开发的应用与使用 Java Chassis 开发的应用互相通信，企业在进行微服务架构选择有更大的自由。 **使微服务更加健壮**：完善的服务治理（负载均衡、限流、熔断、降级等等），保障 Go 微...阅读全文
## 国内新闻 1.威马汽车获百度领投新一轮融资，累计融资金额已超120亿 http://www.tmtpost.com/2953163.html 2.中国电信飞机上网技术曝光：将采用高通量通信卫星 http://www.cnbeta.com/articles/tech/676767.htm 3.央行：第三季度移动支付业务金额增近四成 网联平台试运行平稳 https://www.leiphone.com/news/201712/rDsY4yemksmgIpBv.html 4.美法院将重审阿里IPO欺诈案 被指隐瞒假货监管信息 http://tech.163.com/17/1206/08/D4V7R6JT00097U7...阅读全文
livego go 实现直播服务 服务器部署 chmod 755 server.sh ./server.sh &（依赖go环境，有些情况需要用vim 打开 set ff=unix 然后:wq） 或者直接执行 ./LiveGoServer (不依赖go环境) 本地部署 直接执行 LiveGoServer.exe use 采用vue+webpack实现ui所有在config里日志在logs里http://localhost:8080/ (视频直播)http://localhost:8080/camera (录视频)(由于chrome的安全限制，建议在firefox下打开录视频页面) 使用效果 交流使用 交流群：337937322 项目地址：https://github.com/qieangel2...阅读全文
golang 高性能异步工作池。并发限制goroutine池，限制任务执行的并发性，而不是排队的任务数。无论排队多少任务，都不会阻止提交任务...阅读全文
本篇文章的目的，是向正在寻求个人支付方案的开发者朋友们提供一些信息，希望能给他们一定的帮助，结合自己的使用环境、业务领域和应用场景自行选择。对提到的所有第三方支付工具、第四方聚合支付工具绝无恶意贬低。 如何选择一个靠谱的个人支付服务方？ - **选择标准** 1.var __标准__ = 安全性 && 稳定性 && 结算周期 && 费率 2.var __EFS__ = 使用环境 + 业务领域 + 应用场景 - **服务方分类** 互联网支付方式有很多种，基本上将网上支付服务分为几种： 1.原生网银支付 2.国内主流第三方支付 3.其他第三方支付 4.第四方聚合支付 - **网银支付** 想要接入银行，需要一家家的去谈，资质不足的话一般是不可以申请网银的，涉及到企业资格，承诺、合同、不菲的保证...阅读全文
[项目详情链接](https://taohuawu.club/go-event-loop-networking-library-gnet) `gnet` 是一个基于 Event-Loop 事件驱动的高性能和轻量级网络库。这个库直接使用 [epoll](https://en.wikipedia.org/wiki/Epoll) 和 [kqueue](https://en.wikipedia.org/wiki/Kqueue) 系统调用而非标准 Golang 网络包：[net](https://golang.org/pkg/net/) 来构建网络应用，它的工作原理类似两个开源的网络库：[libuv](https://github.com/libuv/libuv) 和 [libevent](ht...阅读全文
package main import ( "flag" "fmt" "io/ioutil" "net/http" "sync/atomic" "time" ) func main() { connection := flag.Int("c", 200, "-c N") timeout := flag.Int("o", 5, "-o N") timeover := flag.Int("t", 5, "-t N") printresult := flag.Bool("p", false, "-p false") method := flag.String("m", "GET", "-m GET") url := flag.String("u", "http://127.0.0.1", "-u ...阅读全文
现行环境下大数据与人工智能的重要依托还是庞大的数据和分析采集，就如淘宝、京东、百度、腾讯级别的企业能够通过数据可观的用户群体获取需要的数据。而一般企业可能就没有这种通过产品获取数据的能力和条件。因此，利用爬虫，我们可以解决部分数据问题，那么，如何学习Python数据爬虫能？ **1. 学习Python基础知识并实现基本的爬虫过程** 一般获取数据的过程都是按照 发送请求-获得页面反馈-解析并且存储数据 这三个流程来实现的。这个过程其实就是模拟了一个人工浏览网页的过程。 Python中爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，我们可以按照requests 负责连接网站，返回网页，Xpath 用于解析网页，便于抽取数据。 ...阅读全文
Golang现在有什么成熟的游戏开发框架吗？就是开发出成品游戏的框架，开发效率高而且性能不错的...阅读全文
现行环境下，大数据与人工智能的重要依托还是庞大的数据和分析采集，类似于淘宝 京东 百度 腾讯级别的企业 能够通过数据可观的用户群体获取需要的数据，而一般企业可能就没有这种通过产品获取数据的能力和条件，想从事这方面的工作，需掌握以下知识： 1. 学习Python基础知识并实现基本的爬虫过程 一般获取数据的过程都是按照 发送请求-获得页面反馈-解析并且存储数据 这三个流程来实现的。这个过程其实就是模拟了一个人工浏览网页的过程。 Python中爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，我们可以按照requests 负责连接网站，返回网页，Xpath 用于解析网页，便于抽取数据。 2.了解非结构化数据的存储 爬虫抓取的数据结构复杂 传统的结构化数据...阅读全文
NSQ是一个基于Go语言的分布式实时消息平台，它基于MIT开源协议发布，代码托管在GitHub。NSQ可用于大规模系统中的实时消息服务，并且每天能够处理数亿级别的消息，其设计目标是为在分布式环境下运行的去中心化服务提供一个强大的基础架构。NSQ具有分布式、去中心化的拓扑结构，该结构具有无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征。NSQ非常容易配置和部署，且具有最大的灵活性，支持众多消息协议。另外，官方还提供了拆箱即用Go和Python库。 本指南是 NSQ 官网 的中文翻译版本，基于最新版本 0.3.5 适用人群 本教程是给那些想详细了解如何使用 NSQ 分布式实时系统的开发人员编写的。 学习前提 在学习本教程之前，你需要对 Go 语言和计算机网络相...阅读全文
### 由来 一直用[scrapy](https://github.com/scrapy/scrapy)抓数据，scrapy的分布式部署,需要⼈人⼯工分配抓取链接。 所以参考scrapy的爬⾍虫架构和[elasticsearch](https://github.com/elastic/elasticsearch)的分布式架构。 编写了分布式的爬⾍虫[ants](https://github.com/wcong/ants-go), 目前是alpha,欢迎大家来试用 ### 功能 * 分布式:master分配request给各个node,node将抓取的结果,产⽣生的新request返回给master node * web api:提供json格式的web api,开...阅读全文
**我想在用户表中增加一个字段且唯一索引，并设值为一个10位数的数字** 有什么样的方法效率高的...阅读全文
imooc golang电商实战下载链接：https://pan.baidu.com/s/1N5nO7OVKlesjfKU8OIOA4g 提取码：3zri 加油学...阅读全文
### golang数据的类型识别、获取与判断golang是一种简洁、方便、效率高的语言，很适合C/C++、Python等程序员使用。golang是静态语言，但是具有动态语言的特性，这篇文章主要介绍golang的数据类型在运行期的识别、获取和判断方法，让大家可以感受到golang静态语言的动态特性。#### 1.类型识别在我们编码中，经常会碰到读取数据时，要判断数据是哪种类型，典型的是json格式文本的读取和识别。在golang中主要用 x.(T)的方式来识别类型：x是变量，而且是不确定类型的变量，interface，如果是已知类型的，比如x是string，那么就会报错：invalid type assertion: data.(string) (non-interface type str...阅读全文
诚邀筒子们的加入啊。公司在杭州，不加班双休，待遇不错。 分两个方向，GO高级工程师主要是用go来做一些linux上的网络应用软件，docker,爬虫等。 也需要GO工程师来做一些前端的简单网站。 具体要求可以访问： http://www.hz-gn.com/jobs-2/#toggle-id-...阅读全文
摘要： 2017年8月10日，云栖社区将迎来一场特殊的直播——阿里云数据库MySQL金融版线上发布会。 届时，我们不仅请到了阿里云金融业务部总监九河、阿里云数据库掌门人褚霸以及阿里云数据库产品专家乙休来一起宣布这个好消息，同时还邀请到一位在金融界绝对是重磅级人物的神秘嘉宾，一起来聊一聊产品发布背后的故事。 2017年8月10日下午14：00，云栖社区将迎来一场特殊的直播——阿里云数据库MySQL金融版线上发布会。 届时，我们不仅请到了阿里云金融业务部总监九河、阿里云数据库掌门人褚霸以及阿里云数据库产品专家乙休来一起宣布这个好消息，同时还邀请到一位在金融界绝对是重磅级人物的神秘嘉宾，一起来聊一聊产品发布背后的故事！ 那么，MySQL金融版又是一个什么样的数据库呢？ 顾名...阅读全文
Golang 网络爬虫框架gocolly/colly 四 爬虫靠演技，表演得越像浏览器，抓取数据越容易，这是我多年爬虫经验的感悟。回顾下个人的爬虫经历，共分三个阶段：第一阶段，09年左右开始接触爬虫，那时由于项目需要，要访问各大国际社交网站，Facebook，myspace，filcker，youtube等等，国际上叫得上名字的社交网站都爬过，大部分网站提供restful api，有些功能没有api，就只能用http抓包工具分析协议，自己爬；国内的优酷、土豆、校内网、web版qq、网页邮箱等等也都爬过；那时候先用C#写demo，项目是C++的，所以还要转换成托管C++的代码。第一阶段的主要心得是cookie管理，比较难搞的cookie就借助于webbrowser控件。 第二阶段是13年左右，...阅读全文
中国互联网络信息中心发布的第43次《中国互联网络发展状况统计报告》指出，截止于2018年12月中国网民规模达到8.29亿，同年新增网民高达5653万。在互联网高速发展和网民持续增长的背后离不开程序员的默默支持。据悉，2018年全球软件开发从业者人数高达2300万，预计今年年底可达2640万，但如此庞大的就业群体中真正能称为“软件工程师”的只有1%。调查统计，我国程序员多集中于北上广深杭等五个城市，这些城市在吸引优秀人才和企业的同时也反哺着互联网龙头企业。作为互联网飞速发展下的特殊群体，程序员在近几年备受民众关注，有人用这样一首打油诗描述程序员的工作和生活状态：十年编程两茫茫，工期短，需求长。千行代码，Bug 何处藏。纵使上线又如何，新版本，继续忙。黑白颠倒没商量，睡地铺，吃食堂。夜半梦醒，无...阅读全文
先看一段代码 ackage main import ( "fmt" "sync" ) func main() { var wg sync.WaitGroup s := make([]int, 0, 1000) for i := 0; i < 1000; i++ { v := i wg.Add(1) go func() { s = append(s, v) wg.Done() }() } wg.Wait() fmt.Printf("%v\n", len(s)) } 结果 第一次：928 第二次：945 第三次：986 …… 多运行几次你就会发现，slice长度并不是1000，而是不停的在变，为什么呢？ 因为append并不是并发安全的。 我们举一个简单例子，比如，当A和B两个协程运行appen...阅读全文
**岗位职责：** 1.根据公司软件生产流程和规范，配合Android/iOS客户端开发组，完成服务器端接口设计和功能实现； 2.维护服务器，确保高可用性。 **任职要求：** 1.具备熟练阅读英文技术资料能力，习惯通过手册、google搜索、 stackoverflow、 serverfault等途径寻找问题答案； 2.了解Linux的使用，熟练使用命令行界面，能使用Linux服务器； 3.了解Linux编程，了解POSIX API、sockets编程，用C写过多进程/多线程的网络服务程序优先； 4.了解TCP/IP协议栈，HTTP协议...阅读全文
金融类项目招聘，需要具有处理过一定并发量的工程师，具有Java丰富经验，愿意转Go的也可...阅读全文
https://github.com/LevinLin/OPQOPQAn Open sourced Persistent message QueueCode is tested under go1.4.2 (CAUTION: OPQ hasn't been tested in production environment so far)Features1.persistent message storage2.push model - push message to target service and block when failure3.easy to use - simple API whith HTTP POST method, no addtional client integr...阅读全文
http://gochannel.org/ 不定期更...阅读全文
说到concurrent，一般会想到Erlang和Go语言，这两种语言的主打特性都是concurrent，Erlang有着20多年的历史，是为简化开发电信大并发和高可靠性应用而发明的语言，Go是Google从2007年开始设计，2009年opensource出来的，Go属于一种system language，opensource的就算这两种语言吧，公司内私有的语言则有TNSDL，SDL的一个变种，以前写过一篇SDL和Erlang比较的文章（http://bookjovi.iteye.com/blog/1233299），这三种concurrent语言各有不同，下面看看： 1）语言设计 Erlang的实现基于虚拟机beam，Go是编译型语言，有着独成一体的compiler(不同于gcc，Go很好...阅读全文
故事的起因在这里。 之前发了一篇帖子，讲了暴漫用golang重构了worker系统，有好多朋友问到语言选择的问题。 其实在用Golang重写我们的worker系统之前是做过很多调研的。 真正让我们下定决心的是 Parse的一篇文章：How We Moved Our API From Ruby to Go and Saved Our Sanity。 文中讲了Facebook的Parse团队为什么选择Golang代替Ruby。 我翻译下关键几点： Parse面临的问题 Parse跟暴漫的技术栈比较相似： 服务器Unicorn，部署使用Capistrano。在高流量面前很多问题都被指数级放大，在每次部署的时候 app server重启都要很长时间。并且Unicorn的重启并不是真正的‘gracef...阅读全文
平时除了写代码，唯一的娱乐就是看看小说，放松一下大脑了。但在这个网站广告铺天盖地的环境下，想单纯的看会小说也成了一个问题了。最近在学习golang,于是就想写一个小爬虫，把小说爬下来看而不用看到讨厌的广告了。网上大多数教程都是用第三方库，很多都是用github.com/PuerkitoBio/goquery这个库，但因为从来没写过web，对jquery的语法完全是空白，而go语言圣经上的示例用到x/net/html这个google自己维护的库来爬网站的链接，于是研究了一下这个库，写了一个小爬虫，事实证明这个库写爬虫完全没问题，只不过比goquery麻烦一点，毕竟goquery是在这个库的基础上封装的，这个库更底层一点。特写下这往篇日记，记心太烂，怕过一段时间又忘了。经过这几天恶补了一下htm...阅读全文
一直是这个问题困扰着哦我，为什么越来越多连接，到爆掉，换作postgresql驱动也是，还是我理解go语言并发有错呢 package main import ( "database/sql" "fmt" _ "github.com/go-sql-driver/mysql" "strconv" "time" ) var xiancheng = 10 var over = make(chan bool) var sem = make(chan int, xiancheng) func checkErr(err error, hh int) { if err != nil { fmt.Printf("er...阅读全文
之前在2017年2月份发布过一个主题，也是关于CRC16的，现在我直接把函数写出来，希望能帮到有需要的朋友。对于在线监测设备数据传输标准来说，CRC16校验算法有基于通用modbus协议的，有基于环保局HJT-212协议的，以下两个函数算出来的结果都已通过现场数据包验证。 //通用modbus CRC校验算法 func modbusCRC(dataString string) string { crc := 0xFFFF length := len(dataString) for i := 0; i < length; i++ { //通用modbus取寄存器的低8位参与异或运算 crc = ((crc ...阅读全文
高并发&高性能 Go语言开发企业级抽奖项目 链接：https://pan.baidu.com/s/1qGWRjhtW4ON_1pGMzWYjQw 提取码：odji...阅读全文
2018年7月，企业级容器云计算领军企业时速云与上海热璞网络科技有限公司（简称热璞科技）正式达成战略合作，双方将基于各自的主营业务与资源优势，在产品、资源、渠道等多个方面展开深度合作，共同开拓金融、能源、运营商、广电等领域的云服务市场。 时速云是国内首家基于 Kubernetes 的企业级容器云计算服务商，业务涵盖容器 PaaS 平台、DevOps、微服务治理、AIOps 等领域，拥有金融、能源、运营商、制造、广电、汽车等领域的诸多大型企业及世界 500 强客户。 作为国内领先的企业级容器云计算服务提供商，时速云始终坚持以客户需求为中心，用领先的技术实力，为用户提供更高品质的产品和服务。目前，时速云已经为国家电网、新奥集团、戴姆勒奔驰等众多知名企业成功交付了容器云 PaaS 平台及相关产品，...阅读全文
慕课网是国内最大垂直类IT教育平台，目前有用户1100W+。 #用户基础好，流量高、持续分成，分成丰厚，没有时间地点限制。 #职位要求# 1.基础扎实，熟悉常用结构和算法。三年以上Golang使用经验。 2.精通Golang设计原理、源码分析和使用 3.有使用GO语言开发高并发、高可靠、可扩展的后端程序经验 4.热爱分享，逻辑清晰，语言表达能力强，有技术博客者优先。 contact：lirui@imooc.com QQ:154699251 慕课网BD经理 Gig...阅读全文
Rails项目能用Go来重写吗？我举四肢支持！...阅读全文
