一、概述上一篇实现了一个server和client通信，完成了小写转大写的功能，但是是一个单任务式的响应：客户端发送连接接收响应，程序结束；服务端则接收数据响应数据也结束！就实际需要而言，并没有很大的用处，所以现在我们就给客户端和服务端添加上并发功能。 逻辑其实很简单，就是利用golang的gorutine，一旦来新的连接，就开启一个gorutine去处理，然后响应，直到客户端关闭连接。 二、服务端1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950package mainimport ( "net" "fmt" "strings")func handle(con...阅读全文
声明：本测评内容仅供参考，任何依本测评内容作出的投资行为，与本测评内容无关。项目有风险，投资需谨慎。Statement: the contents of this assessment are for reference only. Any investment behavior made according to the contents of this assessment is not related to the contents of this assessment. The project is risky and the investment must be prudent. TIM项目创建了一种高带宽点对点货币块链结构体系，该体系将使各种类型的社会价值商品在一个单一的系统上得...阅读全文
1. 介绍 最近在研究一些消息中间件，常用的MQ如RabbitMQ,ActiveMQ,Kafka等。NSQ是一个基于Go语言的分布式实时消息平台，它基于MIT开源协议发布，由bitly公司开源出来的一款简单易用的消息中间件。 官方和第三方还为NSQ开发了众多客户端功能库，如官方提供的基于HTTP的nsqd、Go客户端go-nsq、Python客户端pynsq、基于Node.js的JavaScript客户端nsqjs、异步C客户端libnsq、Java客户端nsq-java以及基于各种语言的众多第三方客户端功能库。 1.1 Features 1). Distributed NSQ提供了分布式的，去中心化，且没有单点故障的拓扑结构，稳定的消息传输发布保障，能够具有高容错和HA（高可用）特性。 2...阅读全文
定义&赋值 要点： - 定义一个新的结构体 - 结构体对象的声明与初始化 - 对象和指针 package main import "fmt" type Point struct { x float64 y float64 } /* You could write the code as below, which is more convenient. type Point struct { x,y float64 } */ func print(p Point) { fmt.Printf("Point[x=%.2f, y=%.2f]\n", p.x, p.y) } func main() { var p1 Point; // all fields are set to default val...阅读全文
Go语言使用Golang连接MongoDB数据库实现增删改查 1.通过mongodb服务端口号启动mongodb服务 text 2.连接mongodb数据库 3.插入数据到持久层mongodb中 4.在持久层mongodb中删除数据 5.将数据在持久层mongodb中更改 6.在数据库中查询单条或多条数据 7.显示数据库集合中元素数目 本文转载自：http://www.hemadaili.com/help/news/detail/5d54ff289f02b700084d92a5.htm...阅读全文
欢迎关注「Keegan小钢」公众号获取更多文章 撮合引擎开发：开篇 撮合引擎开发：MVP版本 撮合引擎开发：数据结构设计 撮合引擎开发：对接黑箱 撮合引擎开发：解密黑箱流程 撮合引擎开发：流程的代码实现 开篇文章发出去之后，我的撮合引擎被一位超级大佬（曾担任上交所的首席架构师）定位为玩具，直接将我的撮合引擎和国家级撮合引擎作对比了。如果我的撮合引擎达到上交所级别，那就不止值5万了，估计至少值500万了。不过，我的撮合引擎随着不断升级迭代，以后能达到国家级别也说不定。为了避免再次出现这种尴尬，我还是先说明清楚对此撮合引擎的定位。 MVP版本需求 《精益创业》有个核心概念叫 MVP(Minimum Viable Product)，即最小可行性产品。我的撮合引擎第一个版本也是一个 MVP，只实现最...阅读全文
嗯，我的代码没有else系列，一个设计模式业务真实使用的golang系列。 前言 本系列主要分享，如何在我们的真实业务场景中使用设计模式。 本系列文章主要采用如下结构： 什么是「XX设计模式」？ 什么真实业务场景可以使用「XX设计模式」？ 怎么用「XX设计模式」？ 虽然本文的题目叫做“订阅通知”，但是呢，本文却主要介绍「观察者模式」如何在真实业务场景中使用。是不是有些不理解？解释下： 原因一，「观察者模式」其实看起来像“订阅通知” 原因二，“订阅通知”更容易被理解 什么是「观察者模式」？ 观察者观察被观察者，被观察者通知观察者 我们用“订阅通知”翻译下「观察者模式」的概念，结果： “订阅者订阅主题，主题通知订阅者” 是不是容易理解多了，我们再来拆解下这句话，得到： 两个对象 被观察者 -> ...阅读全文
项目中出现人员变动时，你一定遇到过被动的接受别人的项目或者功能模块，而在交接过程中，APP测试便可能出现不可避免的会出现功能细节和测试注意点的遗漏，那么当这些功能出现问题或者变动时，你要如何保证项目质量呢？我们又是否有方法最大程度的避免交接遗漏呢？ 下面，TestBird就分享一些项目中的经验给大家~ 功能交接过程 1）交接前： a. 阅读相关文档（需求、流程图以及交接人的总结文档），确保在正式交接前对该功能有整体了解； b. 罗列自己的疑问，明确功能难点； c. 查看bug列表，明确易出问题的环节； 2）交接中： a. 解除疑问； b. 抓住重点和逻辑复杂的模块，尽量细致的提问和了解； c. ...阅读全文
注：该文作者是 Katrina Owen，原文地址是 iota: Elegant Constants in Golang 有些概念有名字，并且有时候我们关注这些名字，甚至（特别）是在我们代码中。 const ( CCVisa = "Visa" CCMasterCard = "MasterCard" CCAmericanExpress = "American Express" ) 在其他时候，我们仅仅关注能把一个东西与其他的做区分。有些时候，有些时候一件事没有本质上的意义。比如，我们在一个数据库表中存储产品，我们可能不想以 string 存储他们的分类。我们不关注这个分类是怎样命名的，此外，该名字在市场上一直在变化。 我们仅仅关注它们是怎么彼此区分的。 const ( CategoryBook...阅读全文
基于内存的Redis应该是目前各种Web开发业务中最为常用的Key-Value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较MySQL而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。 不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？最好不要因为你的服务经常出问题，导致我这边的业务跟着遭殃。最近我所在的项目中也自己搭了一套小型的“高可用”Redis服务，在此做一下自己的总结和思考。 首先我们要定义一下对于Redis服务来说怎样才算是高可用，即在各种出现...阅读全文
通常在启动项目服务程序的时候，需要判断该服务是否已经被启动，一般的做法有两种，其一是每次启动后将pid写入文件中，启动的时候读取这个文件，如果里面有数值，就表示服务已启动；另一种是通过shell命令查找： ps -ef | grep XXX | grep -v grep | awk '{print $2}' 很多语言都可以直接执行这行命令；偏偏go语言不行，因此，我们可以利用go中提供的一些方法实现它（不说了，直接上代码）： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 ...阅读全文
摘要： FPGA (现场可编程门阵列)由于其硬件并行加速能力和可编程特性，在传统通信领域和IC设计领域大放异彩。一路走来，FPGA并非一个新兴的硬件器件，由于其开发门槛过高，硬件加速算法的发布和部署保护要求非常高，FPGA的使用一直是高冷的美人，没有走入平常百姓家。 FPGA (现场可编程门阵列)由于其硬件并行加速能力和可编程特性，在传统通信领域和IC设计领域大放异彩。一路走来，FPGA并非一个新兴的硬件器件，由于其开发门槛过高，硬件加速算法的发布和部署保护要求非常高，FPGA的使用一直是高冷的美人，没有走入平常百姓家。也就导致FPGA的计算潜力还没有得到深入的挖掘。 阿里云虚拟化团队异构计算和高性能计算团队一直致力于将计算资源"平民化"；高性能计算团队在做的E-HPC就是要让所...阅读全文
嗯，我的代码没有else系列，一个设计模式业务真实使用的golang系列。 前言 本系列主要分享，如何在我们的真实业务场景中使用设计模式。 本系列文章主要采用如下结构： 什么是「XX设计模式」？ 什么真实业务场景可以使用「XX设计模式」？ 怎么用「XX设计模式」？ 虽然本文的题目叫做“订阅通知”，但是呢，本文却主要介绍「观察者模式」如何在真实业务场景中使用。是不是有些不理解？解释下： 原因一，「观察者模式」其实看起来像“订阅通知” 原因二，“订阅通知”更容易被理解 什么是「观察者模式」？ 观察者观察被观察者，被观察者通知观察者 我们用“订阅通知”翻译下「观察者模式」的概念，结果： “订阅者订阅主题，主题通知订阅者” 是不是容易理解多了，我们再来拆解下这句话，得到： 两个对象 被观察者 -> ...阅读全文
基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？最好不要因为你的服务经常出问题，导致我这边的业务跟着遭殃。最近我所在的项目中也自己搭了一套小型的“高可用”Redis服务，在此做一下自己的总结和思考。首先我们要定义一下对于Redis服务来说怎样才算是高可用，即在各种出现异常...阅读全文
分布式消息队列nsq，简单易用，去中心化的设计使nsq更健壮，nsq充分利用了go语言的goroutine和channel来实现的消息处理，代码量也不大，读不了多久就没了。后期的文章我会把nsq的源码分析给大家看。 主要的分析路线如下 分析nsq的整体框架结构，分析如何做到的无中心化分布式拓扑结构，如何处理的单点故障。 分析nsq是如何保证消息的可靠性，如何保证消息的处理，对于消息的持久化是如何处理和扩展的。 分析nsq是如何做的消息的负载处理，即如何把合理的、不超过客户端消费能力的情况下，把消息分发到不同的客户端。 分析nsq提供的一些辅助组件。 这篇帖子，介绍nsq的主体结构，以及他是如何做到去中心化的分布式拓扑结构，如何处理的单点故障。 几个组件是需要先大概说一下 nsqd 消息队列的...阅读全文
基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？最好不要因为你的服务经常出问题，导致我这边的业务跟着遭殃。最近在项目中也搭了一套小型的“高可用”Redis服务，在此做一下自己的总结和思考。首先要定义一下对于Redis服务来说怎样才算是高可用，即在各种出现异常的情况下，依然...阅读全文
课程介绍 负载均衡（Server Load Balancer）是对多台云服务器进行流量分发的负载均衡服务，可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。 课时列表 • 课时1：负载均衡产品创建与使用限制 • 课时2：负载均衡产品结构 • 课时3：负载均衡管管理控制台基本操作 • 课时4：负载均衡产品优势与定义 • 课时5：负载均衡管理控制台监控指标的介绍 • 课时6：负载均衡管理控制台修改配置监听 • 课时7：负载均衡应用场景与名称解释 • 课时8：负载均衡证书管理常见问题 开始学习http://click.aliyu...阅读全文
基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。 不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？最好不要因为你的服务经常出问题，导致我这边的业务跟着遭殃。最近我所在的项目中也自己搭了一套小型的“高可用”Redis服务，在此做一下自己的总结和思考。 首先我们要定义一下对于Redis服务来说怎样才算是高可用，即在各种出现...阅读全文
基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？最好不要因为你的服务经常出问题，导致我这边的业务跟着遭殃。最近我所在的项目中也自己搭了一套小型的“高可用”Redis服务，在此做一下自己的总结和思考。首先我们要定义一下对于Redis服务来说怎样才算是高可用，即在各种出现异常...阅读全文
最近得到一个新概念，胖协议（Fat Protocols）。(胖协议可以理解为基础链)胖协议的概念来自于Fat Protocols，翻译版见文章末尾。从这个角度看过去，或许我们能更清楚互联网和区块链之间的区别。 图1-互联网生态 vs 区块链生态。我们经常用到的App，但凡跟网络沾边，就都离不开协议。说到协议，除了经常看到的http:/(HTTP协议)，经常听到的IP地址（IP协议），其他我们知道的并不多。其实，网络上每个消息的发送与接收，都离不开协议。协议就像人们约定成俗的语言，没有协议，电脑之间无法通讯，网络也就不复存在。就好像你说A语，我说B语，大家谁也听不懂谁。 协议如此重要，可它却是价值最小的。但也不奇怪，因为那都是瘦协议，薄薄的一层，只约定了软件应该如何通讯。比如微信，发送消息使用...阅读全文
etcd是将数据存储在集群中的高可用k-v存储。允许应用实时监听存储中的k-v变化。能容忍单点故障，能够应对网络分区。 (raft是一个分布式协议，管理的是日志；etcd管理的是k-v，把k-v放到日志里，kv就编程分布式集群了)(调用者写入请求发给leader请求写入k-v，leader会将日志实时向follower们复制，leader不会立即返回给调用者，会马上往集群follower做日志拷贝。当日志被复制给N+1个节点后(即大多数)，本地提交(也就是告诉客户端提交成功)，返回给调用者(客户端)，为什么复制给N+1,而不是2N+1后就告诉客户端成功了呢？这就是大多数协议，也就是抽屉理论的重要表现)(一旦完成提交，leader会周期性把自己的提交信息告诉所有follower，这样，其他fo...阅读全文
go语言的time包 组成 time.Duration（时长，耗时） time.Time（时间点） time.C（放时间点的管道）[ Time.C:=make(chan time.Time) ] time包里有2个东西，一个是时间点，另一个是时长 时间点的意思就是“某一刻”，比如 2000年1月1日1点1分1秒 那一刻（后台记录的是unix时间，从1970年开始计算） 时长就是某一刻与另一刻的差，也就是耗时 函数 Sleep函数 time.Sleep(time.Duration) 表示睡多少时间，睡觉时，是阻塞状态 fmt.Println("start sleeping...") time.Sleep(time.Second) fmt.Println("end sleep.") //【结果】...阅读全文
注意： 此文章只是我的个人笔记，如有谬误，错误， 请一定指出！ package main import "fmt" //IA test for methodset. type IA interface { Value() Pointer() } //A is a test type. type A int //Value receiver. func (a A) Value() { fmt.Printf("Value:%p, %d\n", &a, a) } //Pointer receiver. func (a *A) Pointer() { fmt.Printf("Pointer:%p, %d\n", a, *a) } func main() { //type A method set: ...阅读全文
摘要： Tengine在软件层面已经有了深度的调试和优化经验，但是在硬件层面，通用处理器（CPU）已经进入了摩尔定律，有了瓶颈。而在业务量突飞猛进的当下，如何利用硬件来提升性能，承载双11等大型活动的洪峰流量，保障活动平稳度过呢？本文作者：王发康，花名毅松，负责集团主站统一接入层Tengine的开发与维护。 Tengine在软件层面已经有了深度的调试和优化经验，但是在硬件层面，通用处理器（CPU）已经进入了摩尔定律，有了瓶颈。而在业务量突飞猛进的当下，如何利用硬件来提升性能，承载双11等大型活动的洪峰流量，保障活动平稳度过呢？ 本文作者：王发康，花名毅松，负责集团主站统一接入层Tengine的开发与维护。今天分享的主题是《阿里七层流量入口Tengine硬件加速探索之路》。 ...阅读全文
正则表达式优化 ——《精通正则表达式》阅读笔记 [TOC] 第4章：表达式的匹配原理 引擎 DFA (Deterministic Finite Automaton 确定有穷自动机): 常见的只有MySQL，文本主导，不支持反向引用和捕获括号，但快 传统型 NFA(Non-非): 大多数语言，表达式主导，编译快，内存少，写法不同有性能差异 标准 POSIX NFA: leftmost-longest，尝试所有确保最长 golang leftmost-first和leftmost-first都支持 混合：Tcl 等 规则 最左优先，尽可能多(匹配优先) 回溯 NFA 有两个可能时会根据 匹配优先* 还是 忽略优先*? 走其中一个分支，并保存备用状态 如果不成功再回溯尝试另一个分支 第5章：正则表...阅读全文
该文翻译自：http://commaok.xyz/post/interface-allocs/几个星期前，Peter Bourgon在golang-dev开了一个关于标准化日志记录的帖子。 日志很常用，因此性能很快提升。 go-kit日志包使用结构化日志，接口如下：typeLoggerinterface {Log(keyvals ...interface{}) error}调用代码：logger.Log("transport","HTTP","addr", addr,"msg","listening")请注意，进入日志调用的所有内容都将转换为interface{}。 这意味着它分配了不少内存。与另一个结构化日志库zap进行比较。 Zap为了避免内存分配和interface{}使用，导致了更丑...阅读全文
基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？最好不要因为你的服务经常出问题，导致我这边的业务跟着遭殃。最近我所在的项目中也自己搭了一套小型的“高可用”Redis服务，在此做一下自己的总结和思考。首先我们要定义一下对于Redis服务来说怎样才算是高可用，即在各种出现异常...阅读全文
开发十年，就只剩下这套Java开发体系了 >>> // atob.go ------------------------------------------------------------ // ParseBool 将字符串转换为布尔值 // 它接受真值：1, t, T, TRUE, true, True // 它接受假值：0, f, F, FALSE, false, False. // 其它任何值都返回一个错误 func ParseBool(str string) (value bool, err error) func main() { fmt.Println(strconv.ParseBool("1")) // true fmt.Println(strconv.ParseBool(...阅读全文
基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？最好不要因为你的服务经常出问题，导致我这边的业务跟着遭殃。最近我所在的项目中也自己搭了一套小型的“高可用”Redis服务，在此做一下自己的总结和思考。首先我们要定义一下对于Redis服务来说怎样才算是高可用，即在各种出现异常...阅读全文
## 为什么会有多种类型的客户端？ 在以太坊早期的工程中，已经在多种不同的操作系统上实现了多个不同的客户端，这对整个以太坊的生态系统来说是巨大的胜利。它让我们验证了协议的明确性（在以太坊 [黄皮书](https://github.com/ethereum/yellowpaper) 中指明)，向新的革新敞开大门，也让我们都保持诚实。然而，这也让很多新用户倍感困扰，因为自始至终也没有一个“以太坊安装包”让他们直接使用。 截止到2016年9月，最受欢迎的两个客户端分别是： [Go客户端(go-ethereum)](http://ethdoc.cn/ethereum-clients/go-ethereum/index.html#go-ethereum) 和 [Rust客户端(Parity)](htt...阅读全文
package main import "fmt" type Node struct { data int next *Node } func Shownode(p *Node){ //遍历 for p != nil{ fmt.Println(*p) p=p.next //移动指针 } } func main() { var head = new(Node) head.data = 0 var tail *Node tail = head //tail用于记录最末尾的结点的地址，刚开始tail的的指针指向头结点 for i :=1 ;i<10;i++{ var node = Node{data:i} (*tail).next = &node tail = &node } Shownode(h...阅读全文
package main import ( "encoding/json" "html/template" "log" "net/http" ) func main() { // render template http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) { tpl, err := template.ParseFiles("index.html") if err != nil { log.Println("parse template err->", err) return } var name string = "hello" var users []string = []string{"zhangsa...阅读全文
在上篇文章Golang实现简单爬虫框架（2）——单任务版爬虫中我们实现了一个简单的单任务版爬虫，对于单任务版爬虫，每次都要请求页面，然后解析数据，然后才能请求下一个页面。整个过程中，获取网页数据速度比较慢，那么我们就把获取数据模块做成并发执行。在项目的基础上，实现多任务并发版爬虫。 项目github地址：https://github.com/NovemberChopin/golang-crawler， 回滚到相应记录食用，效果更佳。 1、项目架构 首先我们把但任务版爬虫架构中的Fetcher模块和Parser模块合并成一个Worker模块，然后并发执行Worker模块 批注 2019-05-22 090404.png 然后得到并发版的架构图： 批注 2019-05-22 091229.png...阅读全文
基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？最好不要因为你的服务经常出问题，导致我这边的业务跟着遭殃。最近我所在的项目中也自己搭了一套小型的“高可用”Redis服务，在此做一下自己的总结和思考。首先我们要定义一下对于Redis服务来说怎样才算是高可用，即在各种出现异常...阅读全文
上一篇博客《Golang实现简单爬虫框架（1）——项目介绍与环境准备》中我们介绍了go语言的开发环境搭建，以及爬虫项目介绍。 本次爬虫爬取的是珍爱网的用户信息数据，爬取步骤为： 1.进入珍爱网城市页面爬取所有的城市信息 2.进入城市详情页爬取用户URL地址信息 3.进入用户详情页爬取所需要的用户信息 注意：在本此爬虫项目中，只会实现一个简单的爬虫架构，包括单机版实现、简单并发版以及使用队列进行任务调度的并发版实现，以及数据存储和展示功能。不涉及模拟登录、动态IP等技术，如果你是GO语言新手想找练习项目或者对爬虫感兴趣的读者，请放心食用。 1、单任务版爬虫架构 首先我们实现一个单任务版的爬虫，且不考虑数据存储与展示模块，首先把基本功能实现。下面是单任务版爬虫的整体框架 下面是具体流程说明： 1...阅读全文
相关文章：时序数据库 InfluxDB（一）时序数据库 InfluxDB（二）时序数据库 InfluxDB（三）时序数据库 InfluxDB（四）时序数据库 InfluxDB（五）时序数据库 InfluxDB（六） 单点故障和容灾备份 InfluxDB 开源的社区版本面临的最大的问题就是单点故障和容灾备份，有没有一个简单的方案去解决这个问题呢？ 既然有单点故障的可能，那么索性写入多个节点，同时也解决了容灾备份的问题： 1、在不同的机器上配置多个 InfluxDB 实例，写入数据时，直接由客户端并发写入多个实例。（为什么不用代理，因为代理自身就是个单点）。 2、当某个 InfluxDB 实例故障而导致写入失败时，记录失败的数据和节点，这些失败的数据可以临时存储在数据库、消息中间件、日志文件等等...阅读全文
注意： 此文章只是我的个人笔记，如有谬误，错误， 请一定指出！ package main import "fmt" //IA test for methodset. type IA interface { Value() Pointer() } //A is a test type. type A int //Value receiver. func (a A) Value() { fmt.Printf("Value:%p, %d\n", &a, a) } //Pointer receiver. func (a *A) Pointer() { fmt.Printf("Pointer:%p, %d\n", a, *a) } func main() { //type A method set: ...阅读全文
golang调用MySQL数据库：使用MySQL数据库 go语言中文网 Golang Mysql笔记（二）--- CURD基础 操作 语句 创建数据库 create database dbname; 删除数据库 drop database dbname; 选择数据库 use dbname; 创建数据表 create table table_name(column_name column_type); 删除数据表 drop table table_name; 删除表全部数据，保留表结构 truncate table table_name; 删除带条件的删除，表结构不变 delete from table_name where xxx（条件）； 插入数据 insert into table_na...阅读全文
好程序员大数据培训技术ZooKeeper应用-解决分布式系统单点故障,大数据课程涵盖Java、spark、Hadoop等内容，而不是Java中涵盖大数据，现在是大数据的时代，学习大数据课程之前必须先了解大数据课程大纲，否则很容易学到假的大数据课程。 今天小编给大家分享一下：ZooKeeper应用--解决分布式系统单点故障 1.单点故障问题 什么是分布式系统中的单点故障：通常分布式系统采用主从模式，就是一个主控机连接多个处理节点。主节点负责分发任务，从节点负责处理任务，当我们的主节点发生故障时，那么整个系统就都瘫痪了，那么我们把这种故障叫作单点故障。如下图 传统方式是采用一个备用节点，这个备用节点定期给当前主节点发送ping包，主节点收到ping包以后向备用节点发送回复Ack，当备用节点收...阅读全文
共识算法是分布式系统保证节点数据状态一致性的方法，在区块链的共识算法分POW(工作量证明)和POS(权益证明)两大类。第一类POW模式是在公链项目中运用的最广泛应用的共识算法，比特币长达10年的运行已充分证明POW的安全性与稳定性。POW的特性是将去中心化与安全性发挥到了极致,但却牺牲了性能。 如比特币的峰值TPS为3.87， 平均每笔交易被打包入块需要10分钟;比原链的峰值TPS为36.32，平均每笔交易被打包入块需要2.5分钟。第二类的POS模式是由通过算法来选择出块共识节点，多用于联盟链和一些追求高TPS的新公链项目中。POS的特性是通过支持更小的出块间隔来达到最优的性能，但却牺牲了部分的安全性与去中心化。 Bystack是一个基于主侧链架构的区块链BaaS平台，将区块链分为Layer...阅读全文
基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？最好不要因为你的服务经常出问题，导致我这边的业务跟着遭殃。最近我所在的项目中也自己搭了一套小型的“高可用”Redis服务，在此做一下自己的总结和思考。首先我们要定义一下对于Redis服务来说怎样才算是高可用，即在各种出现异常...阅读全文
Hi，大家好呀，我是一个刚学习 Go 语言不久的新手，在入门 Golang 的这段时间里，我写了很多详细的学习笔记，很适合新手学习噢。这些文章已经发布在我的个人微信公众号里：《Go编程时光》里，今天开始将文章内容搬运到这里，希望有更多的人看到，给更的人带来帮助，但是这里文章会相对滞后，想获取最新文章，可以前往关注《Go编程时光》，请放心关注，这是一个纯分享的号，完全没有广告。 **系列导读 ** [从零学习 Go 语言（01）：一文搞定开发环境的搭建](https://studygolang.com/articles/27365) [从零学习 Go 语言（02）：学习五种变量创建的方法](https://studygolang.com/articles/27432) --- ## 1. 整型...阅读全文
下面代码中 因为数据也不算太大2W多条，但是rows.Next() 竟然执行了1分多钟，我换回C#10来秒，这让我很不理解，有大神能提点下吗？不胜感激 func queryLineInfo() string { loginfo(log_info, log_project, "数据查询开始!") rows, err = QuerySql(sqlstr) loginfo(log_info, log_project, "数据查询结束!") if err != nil { rows.Close() //fmt.Println("数据库查询失败", err) get_lineinfo.Rescode = "0000" get_lineinfo.Re...阅读全文
Go语言的字符串类型string在本质上就与其他语言的字符串类型不同： Java的String、C++的std::string以及Python3的str类型都只是定宽字符序列 Go语言的字符串是一个用UTF-8编码的变宽字符序列，它的每一个字符都用一个或多个字节表示 即：一个Go语言字符串是一个任意字节的常量序列。 Golang的双引号和反引号都可用于表示一个常量字符串，不同在于： 双引号用来创建可解析的字符串字面量(支持转义，但不能用来引用多行) 反引号用来创建原生的字符串字面量，这些字符串可能由多行组成(不支持任何转义序列)，原生的字符串字面量多用于书写多行消息、HTML以及正则表达式 而单引号则用于表示Golang的一个特殊类型：rune，类似其他语言的byte但又不完全一样，是指：码...阅读全文
一、消息传输模型 从消息传输模型上，大致可以抽象为以下几种： （1）点对点模型（Point-to-point） 基础模型中，只有一个发送者、一个接收者和一个分布式队列。 在P2P模型中，有几个关键术语：消息队列(Queue)、发送者(Sender)、接收者(Receiver)。每个消息都被发送到一个特定的队列，接收者从队列中获取消息。队列保留着消息，直到它们被消费或超时。 每个消息只有一个消费者(Consumer)（即一旦被消费，消息就不再在消息队列中） 发送者和接收者之间在时间上没有依赖性，也就是说当发送者发送了消息之后，不管接收者有没有正在运行，它不会影响到消息被发送到队列。 接收者在成功接收消息之后需向队列应答成功。 如果你希望发送的每个消息都应该被成功处理的话，那么你需要P2P模型。...阅读全文
前帆(Jib)：主桅杆前面使用的帆 基本定义 Merkle Tree 是由计算机科学家 Ralph Merkle 在很多年前提出的，并以他本人的名字来命名，中文翻译过来叫默克尔树，也叫哈希树。 哈希树 主要用途 Merkle Tree 常用来做完整性校验的，所谓的完整性校验，就是检查一下数据有没有损坏或者被恶意篡改。 Merkle Tree 的最大的应用场合就是在点对点网络上，早期的 BT ，电驴，快播等各种下载器，以及目前普遍使用的 Git 版本控制系统，NMP包管理，GoLang 包管理，IPFS 协议以及比特币以太坊等等项目都用到了它。例子太多了……欢迎补充…… Merkle Tree Merkle Tree 如果直接去看定义，会看到一张比较复杂的图，可能会把你一下子吓到，然后就不想学...阅读全文
今天有点忙，学习的有些晚，也有些少。今天主要是了解函数，知道同一文件内，函数名不能重复，main作为主函数用来显示主体内容，类似于index.html在网页的地位，但别的函数也能输出内容。学习代码如下：package mainimport "fmt"const (second =60minter=second*60hour=minter*24)func timesqr(seconds int)(secondout,minterout,hourout int) {secondout=secondsminterout=seconds/minterhourout=seconds/hourreturn}func main() {fmt.Println(timesqr(1000))//_,minter...阅读全文
package main import ( "fmt" ) func main() { var a = 1 } 会报错，因为变量定义了一定要用，golang内部规定的，可能是担心浪费内存吧 package main import ( "fmt" ) func main() { var a = 'a' fmt.Print(a) } 输入单个字符会自动转换成asc2的二进制码 ,结果是97 image.png package main import ( "fmt" ) func main() { var a = 'a' var b = 'bbbb' fmt.Print(a) } 单引号是单字符，如果在单引号放多字符会报错，如果需要放多字符，需要放双引...阅读全文
在上篇文章Golang实现简单爬虫框架（2）——单任务版爬虫中我们实现了一个简单的单任务版爬虫，对于单任务版爬虫，每次都要请求页面，然后解析数据，然后才能请求下一个页面。整个过程中，获取网页数据速度比较慢，那么我们就把获取数据模块做成并发执行。在项目的基础上，实现多任务并发版爬虫。 项目github地址：https://github.com/NovemberCh...， 回滚到相应记录食用，效果更佳。 1、项目架构 首先我们把但任务版爬虫架构中的Fetcher模块和Parser模块合并成一个Worker模块，然后并发执行Worker模块 然后得到并发版的架构图： 在并发版爬虫中，会同时执行多个Worker，每个Worker任务接受一个Request请求，然后请求页面解析数据，输出解析出的Re...阅读全文
