指针是具有类型的 总所周知，声明的变量都是有具体类型的，而对于存储指针的变量是否有类型，有时是一头雾水，在此做一个小总结，指针是具有类型的。 就如： var c int fmt.Println(reflect.TypeOf(c)) d := &c fmt.Println(reflect.TypeOf(d)) 结果： int *int 那可能一些人就会有疑问，指针既然具有类型，那指针之间可以进行类型转换吗。就如下面一样操作 #(*Type)ptr a := (*int)(&xx) 在Go 的指针是不支持指针运算和转换 下面就详细说一下指针类型怎么互相转换 不同类型指针的互相转换 go语言是强语言类型，不同类型，不可以跨类型计算、赋值等操作。 如下： num := 2 p := &num fp ...阅读全文
在上篇文章Golang实现简单爬虫框架（2）——单任务版爬虫中我们实现了一个简单的单任务版爬虫，对于单任务版爬虫，每次都要请求页面，然后解析数据，然后才能请求下一个页面。整个过程中，获取网页数据速度比较慢，那么我们就把获取数据模块做成并发执行。在项目的基础上，实现多任务并发版爬虫。 项目github地址：https://github.com/NovemberChopin/golang-crawler， 回滚到相应记录食用，效果更佳。 1、项目架构 首先我们把但任务版爬虫架构中的Fetcher模块和Parser模块合并成一个Worker模块，然后并发执行Worker模块 批注 2019-05-22 090404.png 然后得到并发版的架构图： 批注 2019-05-22 091229.png...阅读全文
unsafe内容介绍 type ArbitraryType int type Pointer *ArbitraryType func Sizeof(x ArbitraryType) uintptr func Offsetof(x ArbitraryType) uintptr func Alignof(x ArbitraryType) uintptr unsafe包只有两个类型，三个函数，但是功能很强大。 unsafe 库让 golang 可以像C语言一样操作计算机内存，但这并不是golang推荐使用的，能不用尽量不用，就像它的名字所表达的一样，它绕过了golang的内存安全原则，是不安全的，容易使你的程序出现莫名其妙的问题，不利于程序的扩展与维护。 先简单介绍下Golang指针 *类型：普通...阅读全文
文：http://lihaoquan.me/2016/11/5/golang-byteorder.html 这个人的博客写的不错，品质也比较高。 我应该也要有这种精神，这种态度。深入到计算机的世界中去。也是一种快乐。 使用Go开发一个简单反向代理服务 这篇文章也要研究一下。很好 --------------------------------------------------------------------------------------------- go语言的字节序 go 最近在看nsq的源码时候，发现它处理message的时候，都会采用字节序进行数据包的处理，于是我觉得有必要深入了解下TCP协议中 字节序的知识 字节序（Byte Order） 我们一般把字节（byte）看作是...阅读全文
基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？最好不要因为你的服务经常出问题，导致我这边的业务跟着遭殃。最近我所在的项目中也自己搭了一套小型的“高可用”Redis服务，在此做一下自己的总结和思考。首先我们要定义一下对于Redis服务来说怎样才算是高可用，即在各种出现异常...阅读全文
上一篇博客《Golang实现简单爬虫框架（1）——项目介绍与环境准备》中我们介绍了go语言的开发环境搭建，以及爬虫项目介绍。 本次爬虫爬取的是珍爱网的用户信息数据，爬取步骤为： 1.进入珍爱网城市页面爬取所有的城市信息 2.进入城市详情页爬取用户URL地址信息 3.进入用户详情页爬取所需要的用户信息 注意：在本此爬虫项目中，只会实现一个简单的爬虫架构，包括单机版实现、简单并发版以及使用队列进行任务调度的并发版实现，以及数据存储和展示功能。不涉及模拟登录、动态IP等技术，如果你是GO语言新手想找练习项目或者对爬虫感兴趣的读者，请放心食用。 1、单任务版爬虫架构 首先我们实现一个单任务版的爬虫，且不考虑数据存储与展示模块，首先把基本功能实现。下面是单任务版爬虫的整体框架 下面是具体流程说明： 1...阅读全文
相关文章：时序数据库 InfluxDB（一）时序数据库 InfluxDB（二）时序数据库 InfluxDB（三）时序数据库 InfluxDB（四）时序数据库 InfluxDB（五）时序数据库 InfluxDB（六） 单点故障和容灾备份 InfluxDB 开源的社区版本面临的最大的问题就是单点故障和容灾备份，有没有一个简单的方案去解决这个问题呢？ 既然有单点故障的可能，那么索性写入多个节点，同时也解决了容灾备份的问题： 1、在不同的机器上配置多个 InfluxDB 实例，写入数据时，直接由客户端并发写入多个实例。（为什么不用代理，因为代理自身就是个单点）。 2、当某个 InfluxDB 实例故障而导致写入失败时，记录失败的数据和节点，这些失败的数据可以临时存储在数据库、消息中间件、日志文件等等...阅读全文
一、介绍go标准库中的bufio 最近用golang写了一个处理文件的脚本，由于其中涉及到了文件读写，开始使用golang中的 io 包，后来发现golang 中提供了一个bufio的包，使用这个包可以大幅提高文件读写的效率，于是在网上搜索同样的文件读写为什么bufio 要比io 的读写更快速呢？根据网上的资料和阅读源码，以下来详细解释下bufio的高效如何实现的。 bufio 包介绍 bufio包实现了有缓冲的I/O。它包装一个io.Reader或io.Writer接口对象，创建另一个也实现了该接口，且同时还提供了缓冲和一些文本I/O的帮助函数的对象。 以上为官方包的介绍，在其中我们能了解到的信息如下： bufio 是通过缓冲来提高效率 简单的说就是，把文件读取进缓冲（内存）之后再读取的时...阅读全文
golang调用MySQL数据库：使用MySQL数据库 go语言中文网 Golang Mysql笔记（二）--- CURD基础 操作 语句 创建数据库 create database dbname; 删除数据库 drop database dbname; 选择数据库 use dbname; 创建数据表 create table table_name(column_name column_type); 删除数据表 drop table table_name; 删除表全部数据，保留表结构 truncate table table_name; 删除带条件的删除，表结构不变 delete from table_name where xxx（条件）； 插入数据 insert into table_na...阅读全文
好程序员大数据培训技术ZooKeeper应用-解决分布式系统单点故障,大数据课程涵盖Java、spark、Hadoop等内容，而不是Java中涵盖大数据，现在是大数据的时代，学习大数据课程之前必须先了解大数据课程大纲，否则很容易学到假的大数据课程。 今天小编给大家分享一下：ZooKeeper应用--解决分布式系统单点故障 1.单点故障问题 什么是分布式系统中的单点故障：通常分布式系统采用主从模式，就是一个主控机连接多个处理节点。主节点负责分发任务，从节点负责处理任务，当我们的主节点发生故障时，那么整个系统就都瘫痪了，那么我们把这种故障叫作单点故障。如下图 传统方式是采用一个备用节点，这个备用节点定期给当前主节点发送ping包，主节点收到ping包以后向备用节点发送回复Ack，当备用节点收...阅读全文
Go语言fmt包详解 格式化输出函数 func Print(a ...interface{}) (n int, err error) Print采用默认格式将其参数格式化并写入标准输出。如果两个相邻的参数都不是字符串，会在它们的输出之间添加空格，返回写入的字节数和遇到的任何错误。 func Printf(format string, a ...interface{}) (n int, err error) Printf根据format参数生成格式化的字符串并写入标准输出，返回写入的字节数和遇到的任何错误。 func Println(a ...interface{}) (n int, err error) Println采用默认格式将其参数格式化并写入标准输出。总是会在相邻参数的输出之间添加空...阅读全文
基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较大的互联网公司，一般都会有专门的团队，将Redis存储以基础服务的形式提供给各个业务调用。不过任何一个基础服务的提供方，都会被调用方问起的一个问题是：你的服务是否具有高可用性？最好不要因为你的服务经常出问题，导致我这边的业务跟着遭殃。最近我所在的项目中也自己搭了一套小型的“高可用”Redis服务，在此做一下自己的总结和思考。首先我们要定义一下对于Redis服务来说怎样才算是高可用，即在各种出现异常...阅读全文
Hi，大家好呀，我是一个刚学习 Go 语言不久的新手，在入门 Golang 的这段时间里，我写了很多详细的学习笔记，很适合新手学习噢。这些文章已经发布在我的个人微信公众号里：《Go编程时光》里，今天开始将文章内容搬运到这里，希望有更多的人看到，给更的人带来帮助，但是这里文章会相对滞后，想获取最新文章，可以前往关注《Go编程时光》，请放心关注，这是一个纯分享的号，完全没有广告。 **系列导读 ** [从零学习 Go 语言（01）：一文搞定开发环境的搭建](https://studygolang.com/articles/27365) [从零学习 Go 语言（02）：学习五种变量创建的方法](https://studygolang.com/articles/27432) --- ## 1. 整型...阅读全文
Go语言的字符串类型string在本质上就与其他语言的字符串类型不同： Java的String、C++的std::string以及Python3的str类型都只是定宽字符序列 Go语言的字符串是一个用UTF-8编码的变宽字符序列，它的每一个字符都用一个或多个字节表示 即：一个Go语言字符串是一个任意字节的常量序列。 Golang的双引号和反引号都可用于表示一个常量字符串，不同在于： 双引号用来创建可解析的字符串字面量(支持转义，但不能用来引用多行) 反引号用来创建原生的字符串字面量，这些字符串可能由多行组成(不支持任何转义序列)，原生的字符串字面量多用于书写多行消息、HTML以及正则表达式 而单引号则用于表示Golang的一个特殊类型：rune，类似其他语言的byte但又不完全一样，是指：码...阅读全文
1、golang中base32包是什么？ 2、base32给我们开发者提供了什么？以及用法？ 3、编码与解码各有哪几种操作？ 一、golang中base32包是什么？ 这个包实现了 RFC 4648 定义的 base32 编码。 二、base32给我们开发者提供了什么？ 变量： RFC 4648 定义的标准 base32 编码。 var StdEncoding = NewEncoding(encodeStd) RFC 4648 里定义的"Extended Hex Alphabet"，一般用于DNS var HexEncoding = NewEncoding(encodeHex) 函数： 1）func NewDecoder(enc *Encoding, r io.Reader) io.Read...阅读全文
在 Go 中字符串是 byte 数组。可以通过将内容放在双引号 "" 之间的方式来创建一个字符串。字符串是不可变值类型，内部⽤指针指向 UTF-8 字节数组。 • 默认值是空字符串 ""。 • ⽤索引号访问某字节，如 s[i]。 • 不能⽤序号获取字节元素指针， &s[i] ⾮法。 • 不可变类型，⽆法修改字节数组。 • 字节数组尾部不包含 NULL。 runtime.h struct String { byte* str; intgo len; }; (1)使⽤索引号访问字符 。 s := "abc" fmt.Println(s[0]) //97 fmt.Printf("%c\n", s[0]) //a fmt.Println(s[0] == '\x61', s[1] == 'b', s[...阅读全文
文章首发自公众号：Go编程时光 《Go编程时光》，一个能带你学习 Go 语言的专栏，同时欢迎搜索我的同名公众号【Go编程时光】（排版精美更适合阅读），第一时间获取Go语言干货。 系列导读 1. 一文搞定Go语言开发环境的搭建 2. Go 语言中五种变量创建的方法 3. Go语言中的整型与浮点型 1. byte 与 rune byte，占用1个节字，就 8 个比特位，所以它和 uint8 类型本质上没有区别，它表示的是 ACSII 表中的一个字符。 如下这段代码，分别定义了 byte 类型和 uint8 类型的变量 a 和 b import "fmt" func main() { var a byte = 65 // 8进制写法: var c byte = '\101' 其中 \ 是固定前缀 ...阅读全文
基本操作 bytes包和strings包非常相似，单从它们提供的函数的数量和功能上看，差别微乎其微。 strings包主要是面向Unicode字符和经过UTF-8编码的字符串，而bytes包主要是面对字节和字节切片。 bytes.Buffer类型 Buffer类型的用途主要是作为字节序列的缓冲区。 bytes.Buffer是开箱即用的。可以进行拼接、截断其中的字节序列，以各种形式导出其中的内容，还可以顺序的读取其中的子序列。所以是集读、写功能与一身的数据类型，这些也是作为缓冲区应该拥有的功能。 在内部,bytes.Buffer类型使用字节切片（bootstrap字段）作为内容容器。还有一个int类型（off字段）作为已读字节的计数器，简称为已读计数。不过这里的已读计数是不无获取也无法计算得到...阅读全文
TODO：字节的那点事Go篇 （本文go version go1.7.3 darwin/amd64）在Golang中string底层是由byte数组组成的。fmt.Println(len(“dsd好”))输出的长度是6fmt.Println(len(string(rune(‘好’))))输出的长度是3fmt.Println(len([]rune(“好的2s”)))输出的长度是4所以用string存储unicode的话，如果有中文(中文是由3个字节组成)，按下标是访问不到的，因为你只能得到一个byte。 要想访问中文的话，还是要用rune切片，这样就能按下标访问。UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，又称...阅读全文
Buffer 介绍 Buffer 是 bytes 包中的一个 type Buffer struct{…} A buffer is a variable-sized buffer of bytes with Read and Write methods. The zero value for Buffer is an empty buffer ready to use. （是一个变长的 buffer，具有 Read 和Write 方法。 Buffer 的 零值 是一个 空的 buffer，但是可以使用） Buffer 就像一个集装箱容器，可以存东西，取东西（存取数据） 创建缓冲器 func main() { buf1 := bytes.NewBufferString("hello") buf2...阅读全文
package main import ( "fmt" ) func main() { var a = 1 } 会报错，因为变量定义了一定要用，golang内部规定的，可能是担心浪费内存吧 package main import ( "fmt" ) func main() { var a = 'a' fmt.Print(a) } 输入单个字符会自动转换成asc2的二进制码 ,结果是97 image.png package main import ( "fmt" ) func main() { var a = 'a' var b = 'bbbb' fmt.Print(a) } 单引号是单字符，如果在单引号放多字符会报错，如果需要放多字符，需要放双引...阅读全文
在上篇文章Golang实现简单爬虫框架（2）——单任务版爬虫中我们实现了一个简单的单任务版爬虫，对于单任务版爬虫，每次都要请求页面，然后解析数据，然后才能请求下一个页面。整个过程中，获取网页数据速度比较慢，那么我们就把获取数据模块做成并发执行。在项目的基础上，实现多任务并发版爬虫。 项目github地址：https://github.com/NovemberCh...， 回滚到相应记录食用，效果更佳。 1、项目架构 首先我们把但任务版爬虫架构中的Fetcher模块和Parser模块合并成一个Worker模块，然后并发执行Worker模块 然后得到并发版的架构图： 在并发版爬虫中，会同时执行多个Worker，每个Worker任务接受一个Request请求，然后请求页面解析数据，输出解析出的Re...阅读全文
> 本文介绍爬虫相关流程和搭建 ### 1. 项目需求 > 我们的需求分三步： 1. 从租房网站上获取到杭州市的所有区的链接和名称 2. 根据每个区的链接抓取第一页列表内容，找到房屋的链接和名称 3. 根据第2步中获取的链接，抓取对应的房屋的具体信息 ### 2. 项目流程 > step 1 从项目需求中可以分解出俩个信息 三步中均需要抓取 那么就要提供 url 三步中均需要解析 那么需要提供解析函数 func > 每一步解析到的结果我们需要暂存下来，如果含有链接需要继续抓取 这里我们抽象出两个结构体 ```go //请求结构体 type Request struct { Url string ParserFunc func(string) RequestResult } //结果解析结构体...阅读全文
在Go语言中string 底层是用byte数组存储的，并且是不可以改变的 例如 s:="Go编程" fmt.Println(len(s))输出结果应该是8因为中文字符是用3个字节存的。 len(string(rune('编')))的结果是3 如果想要获得我们想要的情况的话，需要先转换为rune切片再使用内置的len函数fmt.Println(len([]rune(s)))结果就是4了。 所以用string存储unicode的话，如果有中文，按下标是访问不到的，因为你只能得到一个byte。 要想访问中文的话，还是要用rune切片，这样就能按下表访问。 rune在golang 中是int32 的别名，被用来区分字符值和整数值。通过上述例子可以将rune理解为一个可以表示unicode 编码的值i...阅读全文
文件读写 1.1 复制文件 package main import ( "os" "log" "io" ) func main(){ //打开原始文件 originalFile,err:=os.Open("test.txt") checkErr(err) defer originalFile.Close() //创建新的文件作为目标文件 newFile,err:=os.Create("test_copy.txt") checkErr(err) defer newFile.Close() //从源中复制字节到目标文件 bytesWritten,err:=io.Copy(newFile,originalFile) checkErr(err) log.Printf("copied %d bytes...阅读全文
以下文章翻译自罗伯·派克发表在Go Blog的文章，文章中为读者详述了Go语言中字符串与我们经常提起的字节、字符还有rune的关系和相互之间的不同。正如派克在文中所说 字符串这个话题对于一篇博客文章来说似乎太简单了，但是要很好地使用它们，不仅需要了解它们的工作原理，还需要了解字节，字符和 rune 的区别，以及 Unicode 和 UTF- 8，字符串和字符串直接量之间的区别，以及其他甚至更细微的区别。 原文地址：blog.golang.org/strings 文章篇幅还是挺长的，大家时间都很宝贵所以我先把文章探究的问题的结论放在前面，有时间的同学还是建议整篇读一下。 Go 源代码始终为 UTF-8。 字符串可以包含任意字节。 字符串文字中不包含字节级转义符时字符串始终包含有效的 UTF-8...阅读全文
package main import ( "fmt" ) func main() { multiply := func(values []int, multiplier int) []int { multipliedValues := make([]int, len(values)) for i, v := range values { multipliedValues[i] = v * multiplier } return multipliedValues } add := func(values []int, additive int) []int { addedValues := make([]int, len(values)) for i, v := range values {...阅读全文
go version go1.11 darwin/amd64/src/strings/strings.go strings.go 文件中定义了近40个常用的字符串操作函数（公共函数）。以下是主要的几个函数。 函数 简介 Index(s, substr string) int 返回 substr 在 s 中第一次出现的位置，不存在返回 -1；采用RabinKarp算法 Split(s, sep string) []string 根据 sep 把字符串 s 进行切分，返回切分后的数组 Join(a []string, sep string) string 跟 Split 功能刚好相反 Repeat(s string, count int) string 返回字符串 s 重复 count 次得到的...阅读全文
摘要： 概述 阿里云的公网入口产品共有三个，SLB、EIP、NAT网关，这几个产品都可以作为云上资源的公网入口，他们之间有何区别，又分别应该在什么场景下使用呢？ **点此查看原文：http://click.aliyun.com/m/41840/** **开始** 阿里云的公网入口产品共有三个，SLB、EIP、NAT网关，这几个产品都可以作为云上资源的公网入口，他们之间有何区别，又分别应该在什么场景下使用呢？ 概念 -- **负载均衡SLB** **对多台云服务器进行流量分发的负载均衡服务，可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。** 可见云计算中的负载均衡除了通过流量分发让后端的服务器负载均衡，还有两个重...阅读全文
singleton.go // singleton.go package singleton type singleton struct { count int } var instance *singleton func GetInstance() *singleton { if instance == nil { instance = new(singleton) } return instance } func (s *singleton) AddOne() int { s.count++ return s.count } func (s *singleton) GetCount() int { return s.count } singleton_test.go // singlet...阅读全文
int，rune（注：rune 也是int, 用于字符的UTF-8代码）int8 ,int16 ,int32 ,int64byte ,uint8 ,uint16 ,uint32 ,uint64 （注：byte 也是uint8, 表示字节数）float32 ，float64 (没有float 类型)boolstringcomplex64，complex32(复数,对应两个float32 和 两个float64...阅读全文
各位大神可以帮忙解读下面的代码吗？菜鸟刚写，有的地方了解得不透 万分感激 ```go func main() { sr := strings.NewReader("ABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890") buf := bufio.NewReaderSize(sr, 0) b := make([]byte, 10) //返回缓存区，未读取的数据长度 fmt.Println(buf.Buffered()) s, _ := buf.Peek(5) s[0], s[1], s[2] = 'a', 'b', 'c' fmt.Printf("%d %q\n", buf.Buffered(), s) b...阅读全文
文件的读写是编程语言的常见操作之一，这里将Goang 读取文件的相关操作。 读取文件 读取文件有三种方式： 将文件整个读入内存 按字节数读取 按行读取 具体实现如下： 1、将文件整个读入内存 package main import ( "os" "io/ioutil" "fmt" ) func main() { file, err := os.Open("D:/gopath/src/golang_development_notes/example/log.txt") if err != nil { panic(err) } defer file.Close() content, err := ioutil.ReadAll(file) fmt.Println(string(content)) ...阅读全文
文件是什么？计算机中的文件是存储在外部介质（通常是磁盘）上的数据集合，文件分为文本文件和二进制文件。 打开和关闭文件 os.Open()函数能够打开一个文件，返回一个*File和一个error。对得到的文件实例调用close()方法能够关闭文件。 func main(){ file,err := os.Open("./main.go") if err != nil{ fmt.Println("open file failed!,err",err) return } fmt.Println("cool!") file.Close() } 为了防止文件忘记关闭，我们通常使用defer注册文件关闭语句。 读取文件 file.Read() 基本使用 Read的方法定义如下：func(f *File)...阅读全文
Golang学习 - bytes 包--------------------对于传入 []byte 的函数，都不会修改传入的参数，返回值要么是参数的副本，要么是参数的切片。// 转换: 将 s 中的所有字符修改为大写（小写、标题）格式返回。func ToUpper(s []byte) []bytefunc ToLower(s []byte) []bytefunc ToTitle(s []byte) []byte// 使用指定的映射表将 s 中的所有字符修改为大写（小写、标题）格式返回。func ToUpperSpecial(_case unicode.SpecialCase, s []byte) []bytefunc ToLowerSpecial(_case unicode.SpecialC...阅读全文
《Go语言实战》读书笔记，未完待续，欢迎扫码关注公众号flysnow_org或者网站http://www.flysnow.org/，第一时间看后续笔记。觉得有帮助的话，顺手分享到朋友圈吧，感谢支持。 输入和输出Go Writer 和 Reader接口的设计遵循了Unix的输入和输出，一个程序的输出可以是另外一个程序的输入。他们的功能单一并且纯粹，这样就可以非常容易的编写程序代码，又可以通过组合的概念，让我们的程序做更多的事情。 比如我们在上一篇的Go log日志 http://www.flysnow.org/2017/05/06/go-in-action-go-log.html 中，就介绍了Unix的三种输入输出输入模式，他们对应的Go语言里有专门的实现。 12345var ( Stdin ...阅读全文
Golang实现简单爬虫框架（2）——单任务版爬虫 上一篇博客Golang实现简单爬虫框架（1）——项目介绍与环境准备 )中我们介绍了go语言的开发环境搭建，以及爬虫项目介绍。 本次爬虫爬取的是珍爱网的用户信息数据，爬取步骤为： 1.进入珍爱网城市页面爬取所有的城市信息 2.进入城市详情页爬取用户URL地址信息 3.进入用户详情页爬取所需要的用户信息 注意：在本此爬虫项目中，只会实现一个简单的爬虫架构，包括单机版实现、简单并发版以及使用队列进行任务调度的并发版实现，以及数据存储和展示功能。不涉及模拟登录、动态IP等技术，如果你是GO语言新手想找练习项目或者对爬虫感兴趣的读者，请放心食用。 1、单任务版爬虫架构 首先我们实现一个单任务版的爬虫，且不考虑数据存储与展示模块，首先把基本功能实现。下...阅读全文
kubernetes集群三步安装 构建生产环境可用的高可用kubernetes集群 | sealos项目地址 特性 [x] 支持任意节点的etcd集群自动构建，且etcd集群使用安全证书，通过static pod方式启动，这样可以通过监控pod来监控etcd集群健康状态 [x] 支持多master节点，允许任意一台master宕机集群功能不受影响 [x] calico使用etcd集群，配置安全证书，网络管控数据无单点故障 [x] 包含dashboard, heapster coreDNS addons, coreDNS双副本，无单点故障 [x] 使用haproxy负载master节点，同样是用static pod，这样可通过统一监控pod状态来监控haproxy是否健康 [x] haprox...阅读全文
在公众号 "别捉急" 上 同步了文章，并且可以点击原文链接阅读：传送门 基本的文件 I/O 我想 open, read, write, lseek, close 这个几个操作就满足了对文件操作的基本需求。当然了，我也是看书是这么写的。 每个语言基本都有对应的函数或方法，我们调用就行，在这种情况下，我们可以理解成 -> 语言就是个工具。我比较偏向 Go 的风格，所以这里我以 Go 的函数库为例，但在介绍其之前，要明白一个概念：文件描述符。 画中重点了： 对于内核而言, 所有打开的文件都通过文件描述符引用。文件描述符是一个非负整数。 对上面的描述还是有点模糊呢？ 当打开一个现有文件或创建一个新的文件时，内核向进程返回一个 文件描述符。 当读、写一个文件时，使用 open 或 create 返回的...阅读全文
Golang walkthrough: io package Go是用于处理字节的编程语言。 无论您有字节列表，字节流还是单个字节，Go都可以轻松处理。 从这些简单的原语，我们构建了我们的抽象和服务。 io包是标准库中最基础的包之一。 它提供了一组用于处理字节流的接口和助手。 这篇文章是一系列演练的一部分，可以帮助您更好地了解标准库。 虽然官方的文档提供了大量的信息，但是在现实世界的环境中还是很难理解库的意思。 本系列旨在提供如何在每天应用程序中使用标准库包的上下文。 如果您有任何问题或意见，可以在Twitter上的@benbjohnson与我联系。（当然也可以联系我，listomebao@gmail.com） Reading bytes 字节有两个最基本的操作，读和写。让我们先看如何读字节...阅读全文
分布式消息队列nsq，简单易用，去中心化的设计使nsq更健壮，nsq充分利用了go语言的goroutine和channel来实现的消息处理，代码量也不大，读不了多久就没了。后期的文章我会把nsq的源码分析给大家看。 主要的分析路线如下 分析nsq的整体框架结构，分析如何做到的无中心化分布式拓扑结构，如何处理的单点故障。 分析nsq是如何保证消息的可靠性，如何保证消息的处理，对于消息的持久化是如何处理和扩展的。 分析nsq是如何做的消息的负载处理，即如何把合理的、不超过客户端消费能力的情况下，把消息分发到不同的客户端。 分析nsq提供的一些辅助组件。 这篇帖子，介绍nsq的主体结构，以及他是如何做到去中心化的分布式拓扑结构，如何处理的单点故障。 几个组件是需要先大概说一下 nsqd 消息队列的...阅读全文
接口定义type Hash interface { // 嵌入了 io.Writer 接口 // 向执行中的 hash 加入更多数据 // hash 函数的 Write 方法永远不会返回 error io.Writer // 把当前 hash 追加到 b 的后面 // 不会改变当前 hash 状态 Sum(b []byte) []byte // 重置 hash 到初始化状态 Reset() // 返回 hash 结果返回的字节数 Size() int // BlockSize 返回 hash 的基础块大小 // 为了提高效率 // Write 方法传入的字节数最好是 blick size 的倍数 BlockSize() int}// 结果为 32bit hash 函数接口type Hash3...阅读全文
以下文章翻译自罗伯·派克发表在Go Blog的文章，文章中为读者详述了Go语言中字符串与我们经常提起的字节、字符还有rune的关系和相互之间的不同。正如派克在文中所说 字符串这个话题对于一篇博客文章来说似乎太简单了，但是要很好地使用它们，不仅需要了解它们的工作原理，还需要了解字节，字符和 rune 的区别，以及 Unicode 和 UTF- 8，字符串和字符串直接量之间的区别，以及其他甚至更细微的区别。原文地址：https://blog.golang.org/strings 文章篇幅还是挺长的，大家时间都很宝贵所以我先把文章探究的问题的结论放在前面，有时间的同学还是建议整篇读一下。 Go 源代码始终为 UTF-8。 字符串可以包含任意字节。 字符串文字中不包含字节级转义符时字符串始终包含有效...阅读全文
Golang学习 - io 包--------------------先说一下接口，Go 语言中的接口很简单，在 Go 语言的 io 包中有这样一个函数：func ReadFull(r Reader, buf []byte) (n int, err error)这个函数可以把对象 r 中的数据读出来，然后存入一个缓冲区 buf 中，以便其它代码可以处理 buf 中的数据。这里有个问题，ReadFull 函数究竟可以读取哪些对象的数据？可以读文件中的数据吗？可以读网络中的数据吗？可以读数据库中的数据吗？可以读磁盘中的扇区吗？可以读内存中的数据吗？答案是: ReadFull 可以读取任何对象的数据，但是有个前提，就是这个对象必须符合 Reader 的标准。Reader 的标准是什么呢？下面是 R...阅读全文
《Go语言四十二章经》第三十一章 文件操作与IO 《Go语言四十二章经》第三十一章 文件操作与IO 作者：李骁 ## 31.1 文件系统 对于文件和目录的操作，Go主要在os 提供了的相应函数： ```go func Mkdir(name string, perm FileMode) error func Chdir(dir string) error func TempDir() string func Rename(oldpath, newpath string) error func Chmod(name string, mode FileMode) error func Open(name string) (*File, error) { return OpenFile(name, ...阅读全文
Golang读写文件操作 1、读文件 使用golang语言去读取一个文件默认会有多种方式，这里主要介绍以下几种。 使用ioutil直接读取需要引入io/ioutil包，该包默认拥有以下函数供用户调用。 func NopCloser(r io.Reader) io.ReadCloser func ReadAll(r io.Reader) ([]byte, error) func ReadDir(dirname string) ([]os.FileInfo, error) func ReadFile(filename string) ([]byte, error) func TempDir(dir, prefix string) (name string, err error) func Tem...阅读全文
#### uintptr 和 unsafe普及 ##### uintptr 在Go的源码中uintptr的定义如下： ```go /* uintptr is an integer type that is large enough to hold the bit pattern of any pointer. 从英文注释可以看出 uintptr是一个整形，它的大小能够容纳任何指针的位模式，它是无符号的，最大值为：18446744073709551615，怎么来的，int64最大值 * 2 +1 */ type uintptr uintptr ``` **位模式**：内存由字节组成.每个字节由8位bit组成,每个bit状态只能是0或1.所谓位模式,就是变量所占用内存的所有bit的状态的序列 *...阅读全文
// 编码所需的基本数字 const ( RuneError = '\uFFFD' // 错误的 Rune 或 Unicode 代理字符 RuneSelf = 0x80 // ASCII 字符范围 MaxRune = '\U0010FFFF' // Unicode 码点的最大值 UTFMax = 4 // 一个字符编码的最大长度 ) // 将 r 转换为 UTF-8 编码写入 p 中（p 必须足够长，通常为 4 个字节） // 如果 r 是无效的 Unicode 字符，则写入 RuneError // 返回写入的字节数 func EncodeRune(p []byte, r rune) int // 解码 p 中的第一个字符，返回解码后的字符和 p 中被解码的字节数 // 如果 p 为空，则...阅读全文
Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。 Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。 Ken Thompson 的 sh 是第一种 Unix Shell，Windows Explorer 是一个典型的图形界面 Shell。 引用 Shell 教程 Shell 变量 定义变量 定义变量变量名不加美元符号，如： your_name="runoob.com" 注意，变量名和等号之间不能有空格，这可能和你熟悉的所有编程语言都不一样。同时，变量名的命名须遵循如下规则： 命名只能使用英文字母，数字和下划线，首个字符不能以数字开头； 中间不能有空格，可以使用下划线...阅读全文
笔记 - unsafe Package unsafe contains operations that step around the type safety of Go programs. Packages that import unsafe may be non-portable and are not protected by the Go 1 compatibility guidelines. unsafe 库让 golang 可以像C语言一样操作计算机内存，但这并不是golang推荐使用的，能不用尽量不用，就像它的名字所表达的一样，它绕过了golang的内存安全原则，是不安全的，容易使你的程序出现莫名其妙的问题，不利于程序的扩展与维护。 unsafe.Sizeof Sizeof ...阅读全文
