分布式消息队列nsq，简单易用，去中心化的设计使nsq更健壮，nsq充分利用了go语言的goroutine和channel来实现的消息处理，代码量也不大，读不了多久就没了。后期的文章我会把nsq的源码分析给大家看。 主要的分析路线如下 分析nsq的整体框架结构，分析如何做到的无中心化分布式拓扑结构，如何处理的单点故障。 分析nsq是如何保证消息的可靠性，如何保证消息的处理，对于消息的持久化是如何处理和扩展的。 分析nsq是如何做的消息的负载处理，即如何把合理的、不超过客户端消费能力的情况下，把消息分发到不同的客户端。 分析nsq提供的一些辅助组件。 这篇帖子，介绍nsq的主体结构，以及他是如何做到去中心化的分布式拓扑结构，如何处理的单点故障。 几个组件是需要先大概说一下 nsqd 消息队列的...阅读全文
基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？最好不要因为你的服务经常出问题，导致我这边的业务跟着遭殃。最近在项目中也搭了一套小型的“高可用”Redis服务，在此做一下自己的总结和思考。首先要定义一下对于Redis服务来说怎样才算是高可用，即在各种出现异常的情况下，依然...阅读全文
课程介绍 负载均衡（Server Load Balancer）是对多台云服务器进行流量分发的负载均衡服务，可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。 课时列表 • 课时1：负载均衡产品创建与使用限制 • 课时2：负载均衡产品结构 • 课时3：负载均衡管管理控制台基本操作 • 课时4：负载均衡产品优势与定义 • 课时5：负载均衡管理控制台监控指标的介绍 • 课时6：负载均衡管理控制台修改配置监听 • 课时7：负载均衡应用场景与名称解释 • 课时8：负载均衡证书管理常见问题 开始学习http://click.aliyu...阅读全文
基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。 不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？最好不要因为你的服务经常出问题，导致我这边的业务跟着遭殃。最近我所在的项目中也自己搭了一套小型的“高可用”Redis服务，在此做一下自己的总结和思考。 首先我们要定义一下对于Redis服务来说怎样才算是高可用，即在各种出现...阅读全文
基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？最好不要因为你的服务经常出问题，导致我这边的业务跟着遭殃。最近我所在的项目中也自己搭了一套小型的“高可用”Redis服务，在此做一下自己的总结和思考。首先我们要定义一下对于Redis服务来说怎样才算是高可用，即在各种出现异常...阅读全文
etcd是将数据存储在集群中的高可用k-v存储。允许应用实时监听存储中的k-v变化。能容忍单点故障，能够应对网络分区。 (raft是一个分布式协议，管理的是日志；etcd管理的是k-v，把k-v放到日志里，kv就编程分布式集群了)(调用者写入请求发给leader请求写入k-v，leader会将日志实时向follower们复制，leader不会立即返回给调用者，会马上往集群follower做日志拷贝。当日志被复制给N+1个节点后(即大多数)，本地提交(也就是告诉客户端提交成功)，返回给调用者(客户端)，为什么复制给N+1,而不是2N+1后就告诉客户端成功了呢？这就是大多数协议，也就是抽屉理论的重要表现)(一旦完成提交，leader会周期性把自己的提交信息告诉所有follower，这样，其他fo...阅读全文
正则表达式优化 ——《精通正则表达式》阅读笔记 [TOC] 第4章：表达式的匹配原理 引擎 DFA (Deterministic Finite Automaton 确定有穷自动机): 常见的只有MySQL，文本主导，不支持反向引用和捕获括号，但快 传统型 NFA(Non-非): 大多数语言，表达式主导，编译快，内存少，写法不同有性能差异 标准 POSIX NFA: leftmost-longest，尝试所有确保最长 golang leftmost-first和leftmost-first都支持 混合：Tcl 等 规则 最左优先，尽可能多(匹配优先) 回溯 NFA 有两个可能时会根据 匹配优先* 还是 忽略优先*? 走其中一个分支，并保存备用状态 如果不成功再回溯尝试另一个分支 第5章：正则表...阅读全文
该文翻译自：http://commaok.xyz/post/interface-allocs/几个星期前，Peter Bourgon在golang-dev开了一个关于标准化日志记录的帖子。 日志很常用，因此性能很快提升。 go-kit日志包使用结构化日志，接口如下：typeLoggerinterface {Log(keyvals ...interface{}) error}调用代码：logger.Log("transport","HTTP","addr", addr,"msg","listening")请注意，进入日志调用的所有内容都将转换为interface{}。 这意味着它分配了不少内存。与另一个结构化日志库zap进行比较。 Zap为了避免内存分配和interface{}使用，导致了更丑...阅读全文
基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？最好不要因为你的服务经常出问题，导致我这边的业务跟着遭殃。最近我所在的项目中也自己搭了一套小型的“高可用”Redis服务，在此做一下自己的总结和思考。首先我们要定义一下对于Redis服务来说怎样才算是高可用，即在各种出现异常...阅读全文
开发十年，就只剩下这套Java开发体系了 >>> // atob.go ------------------------------------------------------------ // ParseBool 将字符串转换为布尔值 // 它接受真值：1, t, T, TRUE, true, True // 它接受假值：0, f, F, FALSE, false, False. // 其它任何值都返回一个错误 func ParseBool(str string) (value bool, err error) func main() { fmt.Println(strconv.ParseBool("1")) // true fmt.Println(strconv.ParseBool(...阅读全文
基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？最好不要因为你的服务经常出问题，导致我这边的业务跟着遭殃。最近我所在的项目中也自己搭了一套小型的“高可用”Redis服务，在此做一下自己的总结和思考。首先我们要定义一下对于Redis服务来说怎样才算是高可用，即在各种出现异常...阅读全文
## 为什么会有多种类型的客户端？ 在以太坊早期的工程中，已经在多种不同的操作系统上实现了多个不同的客户端，这对整个以太坊的生态系统来说是巨大的胜利。它让我们验证了协议的明确性（在以太坊 [黄皮书](https://github.com/ethereum/yellowpaper) 中指明)，向新的革新敞开大门，也让我们都保持诚实。然而，这也让很多新用户倍感困扰，因为自始至终也没有一个“以太坊安装包”让他们直接使用。 截止到2016年9月，最受欢迎的两个客户端分别是： [Go客户端(go-ethereum)](http://ethdoc.cn/ethereum-clients/go-ethereum/index.html#go-ethereum) 和 [Rust客户端(Parity)](htt...阅读全文
package main import "fmt" type Node struct { data int next *Node } func Shownode(p *Node){ //遍历 for p != nil{ fmt.Println(*p) p=p.next //移动指针 } } func main() { var head = new(Node) head.data = 0 var tail *Node tail = head //tail用于记录最末尾的结点的地址，刚开始tail的的指针指向头结点 for i :=1 ;i<10;i++{ var node = Node{data:i} (*tail).next = &node tail = &node } Shownode(h...阅读全文
package main import ( "encoding/json" "html/template" "log" "net/http" ) func main() { // render template http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) { tpl, err := template.ParseFiles("index.html") if err != nil { log.Println("parse template err->", err) return } var name string = "hello" var users []string = []string{"zhangsa...阅读全文
在上篇文章Golang实现简单爬虫框架（2）——单任务版爬虫中我们实现了一个简单的单任务版爬虫，对于单任务版爬虫，每次都要请求页面，然后解析数据，然后才能请求下一个页面。整个过程中，获取网页数据速度比较慢，那么我们就把获取数据模块做成并发执行。在项目的基础上，实现多任务并发版爬虫。 项目github地址：https://github.com/NovemberChopin/golang-crawler， 回滚到相应记录食用，效果更佳。 1、项目架构 首先我们把但任务版爬虫架构中的Fetcher模块和Parser模块合并成一个Worker模块，然后并发执行Worker模块 批注 2019-05-22 090404.png 然后得到并发版的架构图： 批注 2019-05-22 091229.png...阅读全文
基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？最好不要因为你的服务经常出问题，导致我这边的业务跟着遭殃。最近我所在的项目中也自己搭了一套小型的“高可用”Redis服务，在此做一下自己的总结和思考。首先我们要定义一下对于Redis服务来说怎样才算是高可用，即在各种出现异常...阅读全文
上一篇博客《Golang实现简单爬虫框架（1）——项目介绍与环境准备》中我们介绍了go语言的开发环境搭建，以及爬虫项目介绍。 本次爬虫爬取的是珍爱网的用户信息数据，爬取步骤为： 1.进入珍爱网城市页面爬取所有的城市信息 2.进入城市详情页爬取用户URL地址信息 3.进入用户详情页爬取所需要的用户信息 注意：在本此爬虫项目中，只会实现一个简单的爬虫架构，包括单机版实现、简单并发版以及使用队列进行任务调度的并发版实现，以及数据存储和展示功能。不涉及模拟登录、动态IP等技术，如果你是GO语言新手想找练习项目或者对爬虫感兴趣的读者，请放心食用。 1、单任务版爬虫架构 首先我们实现一个单任务版的爬虫，且不考虑数据存储与展示模块，首先把基本功能实现。下面是单任务版爬虫的整体框架 下面是具体流程说明： 1...阅读全文
相关文章：时序数据库 InfluxDB（一）时序数据库 InfluxDB（二）时序数据库 InfluxDB（三）时序数据库 InfluxDB（四）时序数据库 InfluxDB（五）时序数据库 InfluxDB（六） 单点故障和容灾备份 InfluxDB 开源的社区版本面临的最大的问题就是单点故障和容灾备份，有没有一个简单的方案去解决这个问题呢？ 既然有单点故障的可能，那么索性写入多个节点，同时也解决了容灾备份的问题： 1、在不同的机器上配置多个 InfluxDB 实例，写入数据时，直接由客户端并发写入多个实例。（为什么不用代理，因为代理自身就是个单点）。 2、当某个 InfluxDB 实例故障而导致写入失败时，记录失败的数据和节点，这些失败的数据可以临时存储在数据库、消息中间件、日志文件等等...阅读全文
golang调用MySQL数据库：使用MySQL数据库 go语言中文网 Golang Mysql笔记（二）--- CURD基础 操作 语句 创建数据库 create database dbname; 删除数据库 drop database dbname; 选择数据库 use dbname; 创建数据表 create table table_name(column_name column_type); 删除数据表 drop table table_name; 删除表全部数据，保留表结构 truncate table table_name; 删除带条件的删除，表结构不变 delete from table_name where xxx（条件）； 插入数据 insert into table_na...阅读全文
好程序员大数据培训技术ZooKeeper应用-解决分布式系统单点故障,大数据课程涵盖Java、spark、Hadoop等内容，而不是Java中涵盖大数据，现在是大数据的时代，学习大数据课程之前必须先了解大数据课程大纲，否则很容易学到假的大数据课程。 今天小编给大家分享一下：ZooKeeper应用--解决分布式系统单点故障 1.单点故障问题 什么是分布式系统中的单点故障：通常分布式系统采用主从模式，就是一个主控机连接多个处理节点。主节点负责分发任务，从节点负责处理任务，当我们的主节点发生故障时，那么整个系统就都瘫痪了，那么我们把这种故障叫作单点故障。如下图 传统方式是采用一个备用节点，这个备用节点定期给当前主节点发送ping包，主节点收到ping包以后向备用节点发送回复Ack，当备用节点收...阅读全文
基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？最好不要因为你的服务经常出问题，导致我这边的业务跟着遭殃。最近我所在的项目中也自己搭了一套小型的“高可用”Redis服务，在此做一下自己的总结和思考。首先我们要定义一下对于Redis服务来说怎样才算是高可用，即在各种出现异常...阅读全文
Hi，大家好呀，我是一个刚学习 Go 语言不久的新手，在入门 Golang 的这段时间里，我写了很多详细的学习笔记，很适合新手学习噢。这些文章已经发布在我的个人微信公众号里：《Go编程时光》里，今天开始将文章内容搬运到这里，希望有更多的人看到，给更的人带来帮助，但是这里文章会相对滞后，想获取最新文章，可以前往关注《Go编程时光》，请放心关注，这是一个纯分享的号，完全没有广告。 **系列导读 ** [从零学习 Go 语言（01）：一文搞定开发环境的搭建](https://studygolang.com/articles/27365) [从零学习 Go 语言（02）：学习五种变量创建的方法](https://studygolang.com/articles/27432) --- ## 1. 整型...阅读全文
Go语言的字符串类型string在本质上就与其他语言的字符串类型不同： Java的String、C++的std::string以及Python3的str类型都只是定宽字符序列 Go语言的字符串是一个用UTF-8编码的变宽字符序列，它的每一个字符都用一个或多个字节表示 即：一个Go语言字符串是一个任意字节的常量序列。 Golang的双引号和反引号都可用于表示一个常量字符串，不同在于： 双引号用来创建可解析的字符串字面量(支持转义，但不能用来引用多行) 反引号用来创建原生的字符串字面量，这些字符串可能由多行组成(不支持任何转义序列)，原生的字符串字面量多用于书写多行消息、HTML以及正则表达式 而单引号则用于表示Golang的一个特殊类型：rune，类似其他语言的byte但又不完全一样，是指：码...阅读全文
package main import ( "fmt" ) func main() { var a = 1 } 会报错，因为变量定义了一定要用，golang内部规定的，可能是担心浪费内存吧 package main import ( "fmt" ) func main() { var a = 'a' fmt.Print(a) } 输入单个字符会自动转换成asc2的二进制码 ,结果是97 image.png package main import ( "fmt" ) func main() { var a = 'a' var b = 'bbbb' fmt.Print(a) } 单引号是单字符，如果在单引号放多字符会报错，如果需要放多字符，需要放双引...阅读全文
在上篇文章Golang实现简单爬虫框架（2）——单任务版爬虫中我们实现了一个简单的单任务版爬虫，对于单任务版爬虫，每次都要请求页面，然后解析数据，然后才能请求下一个页面。整个过程中，获取网页数据速度比较慢，那么我们就把获取数据模块做成并发执行。在项目的基础上，实现多任务并发版爬虫。 项目github地址：https://github.com/NovemberCh...， 回滚到相应记录食用，效果更佳。 1、项目架构 首先我们把但任务版爬虫架构中的Fetcher模块和Parser模块合并成一个Worker模块，然后并发执行Worker模块 然后得到并发版的架构图： 在并发版爬虫中，会同时执行多个Worker，每个Worker任务接受一个Request请求，然后请求页面解析数据，输出解析出的Re...阅读全文
> 本文介绍爬虫相关流程和搭建 ### 1. 项目需求 > 我们的需求分三步： 1. 从租房网站上获取到杭州市的所有区的链接和名称 2. 根据每个区的链接抓取第一页列表内容，找到房屋的链接和名称 3. 根据第2步中获取的链接，抓取对应的房屋的具体信息 ### 2. 项目流程 > step 1 从项目需求中可以分解出俩个信息 三步中均需要抓取 那么就要提供 url 三步中均需要解析 那么需要提供解析函数 func > 每一步解析到的结果我们需要暂存下来，如果含有链接需要继续抓取 这里我们抽象出两个结构体 ```go //请求结构体 type Request struct { Url string ParserFunc func(string) RequestResult } //结果解析结构体...阅读全文
package main import ( "fmt" ) func main() { multiply := func(values []int, multiplier int) []int { multipliedValues := make([]int, len(values)) for i, v := range values { multipliedValues[i] = v * multiplier } return multipliedValues } add := func(values []int, additive int) []int { addedValues := make([]int, len(values)) for i, v := range values {...阅读全文
go version go1.11 darwin/amd64/src/strings/strings.go strings.go 文件中定义了近40个常用的字符串操作函数（公共函数）。以下是主要的几个函数。 函数 简介 Index(s, substr string) int 返回 substr 在 s 中第一次出现的位置，不存在返回 -1；采用RabinKarp算法 Split(s, sep string) []string 根据 sep 把字符串 s 进行切分，返回切分后的数组 Join(a []string, sep string) string 跟 Split 功能刚好相反 Repeat(s string, count int) string 返回字符串 s 重复 count 次得到的...阅读全文
摘要： 概述 阿里云的公网入口产品共有三个，SLB、EIP、NAT网关，这几个产品都可以作为云上资源的公网入口，他们之间有何区别，又分别应该在什么场景下使用呢？ **点此查看原文：http://click.aliyun.com/m/41840/** **开始** 阿里云的公网入口产品共有三个，SLB、EIP、NAT网关，这几个产品都可以作为云上资源的公网入口，他们之间有何区别，又分别应该在什么场景下使用呢？ 概念 -- **负载均衡SLB** **对多台云服务器进行流量分发的负载均衡服务，可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。** 可见云计算中的负载均衡除了通过流量分发让后端的服务器负载均衡，还有两个重...阅读全文
singleton.go // singleton.go package singleton type singleton struct { count int } var instance *singleton func GetInstance() *singleton { if instance == nil { instance = new(singleton) } return instance } func (s *singleton) AddOne() int { s.count++ return s.count } func (s *singleton) GetCount() int { return s.count } singleton_test.go // singlet...阅读全文
Golang实现简单爬虫框架（2）——单任务版爬虫 上一篇博客Golang实现简单爬虫框架（1）——项目介绍与环境准备 )中我们介绍了go语言的开发环境搭建，以及爬虫项目介绍。 本次爬虫爬取的是珍爱网的用户信息数据，爬取步骤为： 1.进入珍爱网城市页面爬取所有的城市信息 2.进入城市详情页爬取用户URL地址信息 3.进入用户详情页爬取所需要的用户信息 注意：在本此爬虫项目中，只会实现一个简单的爬虫架构，包括单机版实现、简单并发版以及使用队列进行任务调度的并发版实现，以及数据存储和展示功能。不涉及模拟登录、动态IP等技术，如果你是GO语言新手想找练习项目或者对爬虫感兴趣的读者，请放心食用。 1、单任务版爬虫架构 首先我们实现一个单任务版的爬虫，且不考虑数据存储与展示模块，首先把基本功能实现。下...阅读全文
kubernetes集群三步安装 构建生产环境可用的高可用kubernetes集群 | sealos项目地址 特性 [x] 支持任意节点的etcd集群自动构建，且etcd集群使用安全证书，通过static pod方式启动，这样可以通过监控pod来监控etcd集群健康状态 [x] 支持多master节点，允许任意一台master宕机集群功能不受影响 [x] calico使用etcd集群，配置安全证书，网络管控数据无单点故障 [x] 包含dashboard, heapster coreDNS addons, coreDNS双副本，无单点故障 [x] 使用haproxy负载master节点，同样是用static pod，这样可通过统一监控pod状态来监控haproxy是否健康 [x] haprox...阅读全文
分布式消息队列nsq，简单易用，去中心化的设计使nsq更健壮，nsq充分利用了go语言的goroutine和channel来实现的消息处理，代码量也不大，读不了多久就没了。后期的文章我会把nsq的源码分析给大家看。 主要的分析路线如下 分析nsq的整体框架结构，分析如何做到的无中心化分布式拓扑结构，如何处理的单点故障。 分析nsq是如何保证消息的可靠性，如何保证消息的处理，对于消息的持久化是如何处理和扩展的。 分析nsq是如何做的消息的负载处理，即如何把合理的、不超过客户端消费能力的情况下，把消息分发到不同的客户端。 分析nsq提供的一些辅助组件。 这篇帖子，介绍nsq的主体结构，以及他是如何做到去中心化的分布式拓扑结构，如何处理的单点故障。 几个组件是需要先大概说一下 nsqd 消息队列的...阅读全文
// 编码所需的基本数字 const ( RuneError = '\uFFFD' // 错误的 Rune 或 Unicode 代理字符 RuneSelf = 0x80 // ASCII 字符范围 MaxRune = '\U0010FFFF' // Unicode 码点的最大值 UTFMax = 4 // 一个字符编码的最大长度 ) // 将 r 转换为 UTF-8 编码写入 p 中（p 必须足够长，通常为 4 个字节） // 如果 r 是无效的 Unicode 字符，则写入 RuneError // 返回写入的字节数 func EncodeRune(p []byte, r rune) int // 解码 p 中的第一个字符，返回解码后的字符和 p 中被解码的字节数 // 如果 p 为空，则...阅读全文
Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。 Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。 Ken Thompson 的 sh 是第一种 Unix Shell，Windows Explorer 是一个典型的图形界面 Shell。 引用 Shell 教程 Shell 变量 定义变量 定义变量变量名不加美元符号，如： your_name="runoob.com" 注意，变量名和等号之间不能有空格，这可能和你熟悉的所有编程语言都不一样。同时，变量名的命名须遵循如下规则： 命名只能使用英文字母，数字和下划线，首个字符不能以数字开头； 中间不能有空格，可以使用下划线...阅读全文
文章首发自公众号：Go编程时光 《Go编程时光》，一个能带你学习 Go 语言的专栏，同时欢迎搜索我的同名公众号【Go编程时光】（排版精美更适合阅读），第一时间获取Go语言干货。 系列导读 1. 一文搞定Go语言开发环境的搭建 2. Go 语言中五种变量创建的方法 1. 整型 Go 语言中，整数类型可以再细分成10个类型，为了方便大家学习，我将这些类型整理成一张表格。 int 和 uint 的区别就在于一个 u，有 u 说明是无符号，没有 u 代表有符号。 解释这个符号的区别 以 int8 和 uint8 举例，8 代表 8个bit，能表示的数值个数有 2^8 = 256。 uint8 是无符号，能表示的都是正数，0-255，刚好256个数。 int8 是有符号，既可以正数，也可以负数，那怎么...阅读全文
// atob.go ------------------------------------------------------------ // ParseBool 将字符串转换为布尔值 // 它接受真值：1, t, T, TRUE, true, True // 它接受假值：0, f, F, FALSE, false, False. // 其它任何值都返回一个错误 func ParseBool(str string) (value bool, err error) func main() { fmt.Println(strconv.ParseBool("1")) // true fmt.Println(strconv.ParseBool("t")) // true fmt.Println...阅读全文
撮合引擎开发：开篇 撮合引擎开发：MVP版本 撮合引擎开发：数据结构设计 撮合引擎开发：对接黑箱 撮合引擎开发：解密黑箱流程 业务流程 前面的几篇文章已经陆续讲到了黑箱内部的一些设计，包括核心的软件结构、数据结构、目录结构等。而从本小节开始，我们将会更加深入，来解密黑箱内部的更多设计和实现细节。 解密黑箱的第一步就是要清楚其内部对数据的处理流程是怎样的。当我们要设计一个新系统的时候，也是一样的，第一步要梳理清楚业务流程和数据流向。对撮合引擎来说，就是要了解：从输入到输出，中间都经过了哪些处理流程。 前面的文章已经讲过，本撮合引擎定义了三种输入：开启撮合、处理订单、关闭撮合。后面就分别来看看这三种输入背后的流程。 开启撮合 开启撮合即是开启某个交易标的（交易对）的撮合引擎，未开启撮合的交易标的...阅读全文
1 概述 Go语言是强类型语言，因此总会需要将字符串转成需要的类型。比如整型和字符串转换，字符串和布尔型的转换等。本文就介绍如何完成这些转换，以下是Go语言关于字符串转换的整理说明，主要是与切片类型的转换，和 strconv 包的使用。 2 与切片的转换 切片类型可以和字符串类型相互转换。 fmt.Println([]rune("Hello小韩说课")) // [72 101 108 108 111 23567 38889 35828 35838] fmt.Println(string([]rune{72, 101, 108, 108, 111, 23567, 38889, 35828, 35838})) // Hello小韩说课 fmt.Println([]byte("Hello")) /...阅读全文
前两天我们写了单任务版爬虫爬取了珍爱网用户信息，那么它的性能如何呢？ 我们可以通过网络利用率看一下，我们用任务管理器中的性能分析窗口可以看到下载速率大概是保持在了200kbps左右，这可以说是相当慢了。 我们针对来通过分析单任务版爬虫的设计来看下： 从上图我们可以看出，engine将request从任务队列取出来，送到Fetcher取获取资源，等待数据返回，然后将返回的数据送到Parser去解析，等待其返回，把返回的request再加到任务队列里，同时把item打印出来。 慢就慢在了没有充分利用网络资源，其实我们可以同时发送多个Fetcher和Pareser，等待其返回的同时，可以去做其他的处理。这一点利用go的并发语法糖很容易实现。 上图中，Worker是Fetcher和Parser的合并...阅读全文
nsq 最初是由 bitly 公司开源出来的一款简单易用的分布式消息中间件，它可用于大规模系统中的实时消息服务，并且每天能够处理数亿级别的消息。 它具有以下特性： 分布式。它提供了分布式的、去中心化且没有单点故障的拓扑结构，稳定的消息传输发布保障，能够具有高容错和高可用特性。 易于扩展。它支持水平扩展，没有中心化的消息代理(Broker)，内置的发现服务让集群中增加节点非常容易。 运维方便。它非常容易配置和部署，灵活性高。 高度集成。现在已经有官方的Golang、Python和JavaScript客户端，社区也有了其他各个语言的客户端库方便接入，自定义客户端也非常容易。 1. 首先到官方文档看用法： https://nsq.io/overview/quick... 下载对应的二进制可执行文件...阅读全文
## 1 概述 Go语言是强类型语言，因此总会需要将字符串转成需要的类型。比如整型和字符串转换，字符串和布尔型的转换等。本文就介绍如何完成这些转换，以下是Go语言关于字符串转换的整理说明，主要是与切片类型的转换，和 strconv 包的使用。 ## 2 与切片的转换 切片类型可以和字符串类型相互转换。 ``` fmt.Println([]rune("Hello小韩说课")) // [72 101 108 108 111 23567 38889 35828 35838] fmt.Println(string([]rune{72, 101, 108, 108, 111, 23567, 38889, 35828, 35838})) // Hello小韩说课 fmt.Println([]byte("...阅读全文
package main import "fmt" type Node struct { data int next *Node } func Shownode(p *Node){ //遍历 for p != nil{ fmt.Println(*p) p=p.next //移动指针 } } func main() { var head = new(Node) head.data = 0 var tail *Node tail = head //tail用于记录最末尾的结点的地址，刚开始tail的的指针指向头结点 for i :=1 ;i<10;i++{ var node = Node{data:i} (*tail).next = &node tail = &node } Shownode(h...阅读全文
1.6 字符串 字符串是不可变值类型，内部用指针指向 UTF-8 字节数组。 默认值是空字符串 ""。 用索引号访问某字节，如 s[i]。 不能用序号获取字节元素指针，&s[i] 非法。 不可变类型，无法修改字节数组。 字节数组尾部不包含 NULL。 struct String { byte* str; intgo len; }; 使用索引号访问字符 (byte)。 s := "abc" println(s[0] == '\x61', s[1] == 'b', s[2] == 0x63) //输出： true true true 使用 " ` " 定义不做转义处理的原始字符串，支持跨行。 s := `a b\r\n\x00 c` println(s) // 输出: a b\r\n\x00 c...阅读全文
1. make和new的区别: make和new都在堆上分配内存. 但是他们的行为不同, 适用于不同的类型. new(T) 返回的是T的指针, 其中T为一个类型, 不是一个值, 为T类型新值分配内存空间并将此空间初始化为T类型的的零值, 返回的是新值得地址,即T的指针*T的值, 该指针指向T的新分配的零值. make(T, args) 用来为slice,map货channel类型分配内存和初始化一个对象, 返回类型的引用we不是指针, 返回值根据T的不同而不同. 简单来讲: new 的作用是初始化一个指向类型的指针(*T)，make 的作用是为 slice，map 或 chan 初始化并返回引用(T) testNew := new([2]int) fmt.Println(testNew) /...阅读全文
模块划分的"划"是规划的意思，意指怎样合理的将一个很大的软件划分为一系列功能独立的部分合作完成系统的需求。C语言作为一种结构化的程序设计语言，在模块的划分上主要依据功能（依功能进行划分在面向对象设计中成为一个错误，牛顿定律遇到了>相对论），C语言模块化程序设计需理解如下概念：（1） 模块即是一个.c文件和一个.h文件的结合，头文件(.h)中是对于该模块接口的声明；（2） 某模块提供给其它模块调用的外部函数及数据需在.h中文件中冠以extern关键字声明；（3） 模块内的函数和全局变量需在.c文件开头冠以static关键字声明；（4） 永远不要在.h文件中定义变量！定义变量和声明变量的区别在于定义会产生内存分配的操作，是汇编阶段的概念；而声明则只是告诉包含该声明的模块在连接阶段从其它模块寻找外...阅读全文
nsq 最初是由 bitly 公司开源出来的一款简单易用的分布式消息中间件，它可用于大规模系统中的实时消息服务，并且每天能够处理数亿级别的消息。 nsq 它具有以下特性： 分布式。它提供了分布式的、去中心化且没有单点故障的拓扑结构，稳定的消息传输发布保障，能够具有高容错和高可用特性。 易于扩展。它支持水平扩展，没有中心化的消息代理(Broker)，内置的发现服务让集群中增加节点非常容易。 运维方便。它非常容易配置和部署，灵活性高。 高度集成。现在已经有官方的Golang、Python和JavaScript客户端，社区也有了其他各个语言的客户端库方便接入，自定义客户端也非常容易。 1. 首先到官方文档看用法： https://nsq.io/overview/quick_start.html q...阅读全文
在分布式调度中为了保证服务的高可用和容灾需求，通常都会讲服务在多个区域、机架、节点上平均分布，从而避免单点故障引起的服务不可用，在k8s中自然也实现了该算法即SelectorSpread, 本文就来学习下这个算法的底层实现细节 1. 设计要点 1.1 zone与node zone即代表一个区域，node则是一个具体的节点，而该打散算法的目标就是将pod在zone和node之间进行打散操作 1.2 namespace namespace是k8s中进行资源隔离的实现，同样的筛选也是如此，在筛选的过程中，不同namespace下面的pod并不会相互影响 1.3 计数与聚合 SelectorSpread算法是scheduler中优先级算法的一种，其实现了优先级算法的map/reduce方法，其中ma...阅读全文
> **nsq** 工具集学习 ### nsq\_to\_nsq nsq 作为消息队列，有个优势是nsqd 各节点之间是不关联的，如果一个节点出了问题，仅仅影响该节点下的topic，channel，以及相关的生产者、消费者。 也就是官方说明的特性第一条：**no SPOF** ( single point of failure 单点故障)。好处不言而喻，坏处也是有的，如果节点出问题，没有备份数据无法恢复。 所以，在官方提供了 nsq\_to\_nsq 作为 nsqd 节点复制的工具，用于做 nsqd 节点数据的备份, 或者也可以用于数据的分发。 类似于MirrorMaker. #### 特性： - 支持将M 个 topic 的消息 publish 到 N 个 nsqd...阅读全文
package my_bufio import ( "bytes" "errors" "io" "unicode/utf8" ) const ( defaultBufSize = 4096 ) var ( // 非法使用UnreadByte ErrInvalidUnreadByte=errors.New("bufio: invalid use of UnreadByte") // 非法使用UnreadRune ErrInvalidUnreadRune = errors.New("bufio: invalid use of UnreadRune") // buffer已满 ErrBufferFull = errors.New("bufio: buffer full") // count为负 E...阅读全文
