现在无论是网站、App、小程序还是移动端H5页面应用，都是采用前端与后端单独部署，相互之间以API接口交互的形式构建而成的。因为在结合可读性、编码数据大小和开发者使用难度上都JSON格式是一个比较好的选择，所以接口的数据格式通常都采用JSON，即前端在发送POST，PUT，PATCH请求添加，更改数据时会把数据以JSON格式放到请求的Body中。而后端则是所有数据都会以JSON格式返回。 关于JSON可读性、编码数据大小和开发者使用难度上，因为其可读性不如XML结构，但是数据量小，用程序操作起来更方便。对比Protobuf来说，Protobuf编码速度、编码后数据大小比JSON都要好，但是用程序操作起来没有JSON方便简单，编码后的数据是二进制格式的，易读性完全没有。所以整体来说JSON是一...阅读全文
Hi，大家好呀，我是一个刚学习 Go 语言不久的新手，在入门 Golang 的这段时间里，我写了很多详细的学习笔记，很适合新手学习噢。这些文章已经发布在我的个人微信公众号里：《Go编程时光》里，今天开始将文章内容搬运到这里，希望有更多的人看到，给更多的人带来帮助，但是这里文章会相对滞后，想获取最新文章，可以前往关注《Go编程时光》，请放心关注，这是一个纯分享的号，完全没有广告。 1. 整型 Go 语言中，整数类型可以再细分成10个类型，为了方便大家学习，我将这些类型整理成一张表格。 int 和 uint 的区别就在于一个 u，有 u 说明是无符号，没有 u 代表有符号。 解释这个符号的区别 以 int8 和 uint8 举例，8 代表 8个bit，能表示的数值个数有 2^8 = 256。 u...阅读全文
作者：Sameer Ajmani原文：https://blog.golang.org/pipelines介绍Go并发模型使构建能高效利用IO和多核CPU的实时流式数据的pipeline非常方便。这篇文章将对此进行介绍，同时会着重强调一些在实践中的易犯错误以及对应的解决方法。什么是Pipeline在GO中，pipeline无明确定义；它是语言提供的一种并发编程方式，由连接各个chanel而形成的一系列阶段组成。在其各个阶段，可能分别运行着很多的goroutine。这些goroutine从输入channel接收数据对数据作相应处理，例如在此基础上产生新数据再通过输出channel把数据发送出去除了开始和结束，每个阶段都会包含任意多个输入和输出channel。开始阶段只有输出channel，结束阶...阅读全文
Channel是Go中的一个核心类型，你可以把它看成一个管道，通过它并发核心单元就可以发送或者接收数据进行通讯(communication)。 它的操作符是箭头 <- 。 ch <- v // 发送值v到Channel ch中 v := <-ch // 从Channel ch中接收数据，并将数据赋值给v (箭头的指向就是数据的流向) 就像 map 和 slice 数据类型一样, channel必须先创建再使用: ch := make(chan int) Channel类型 Channel类型的定义格式如下： ChannelType = ( "chan" | "chan" "<-" | "<-" "chan" ) ElementType . 它包括三种类型的定义。可选的<-代表channel的...阅读全文
问题提出 一致性hash是什么?假设有4台缓存服务器N0,N1,N2,N3,现在需要存储数据OBJECT1,OBJECT2,OBJECT3,OBJECT4,OBJECT5,OBJECT5,OBJECT7,OBJECT8, 我们需要将这些数据缓存到这4台服务器上，相应的问题是 如何设计数据存放策略?即ObjectX 应该存放在哪台服务器上? 为了解决这个问题,我们有如下几个思路。 1. 余数hash方案 采用hash(Objectx)%4来确定服务器节点 假设 hash(OBJECT1)=2,由 2%4=2,可知,Object1则应该存放到节点N2上 假设 hash(OBJECT2)=3,由 3%4=3,可知,Object2则应该存放到节点N3上 假设 hash(OBJECT3)=1,由 1%...阅读全文
什么是Channel Channel 是 Go 中为 goroutine 提供的一种通信机制，channel 是有类型的，而且是有方向的，可以把 channel 类比成 unix 中的 pipe。 channel的使用 channel创建 channel 字面意义是 “通道”，类似于 Linux 中的管道。声明 channel 的语法如下： chan T // 可以接收和发送类型为 T 的数据 chan<- float64 // 只可以用来发送 float64 类型的数据 <-chan int // 只可以用来接收 int 类型的数据 复制代码使用make初始化Channel,并且可以设置容量: make(chan int, 100) 复制代码因为 channel 是一个引用类型，所以在它被...阅读全文
概述 在业务系统开发中，尤其是后台管理系统，列表页展示的数据来自多个数据源，列表页需要支持分页，怎么解决？ 问题 如上图，数据源可能来自不同 DB 数据库，可能来自不同 API 接口，也可能来自 DB 和 API 的组合。 我这也没有太好的解决方案，接到这样的需求，肯定首先和需求方沟通，这样分页是否合理。 无非就两种方案： 数据定期同步，首先将查询的数据汇总到一个地方，然后再进行查询分页。 内存中分页，首先将查询的数据存放到内存，然后再进行查询分页。 如果以某一数据源进行分页，其他字段去其他数据源获取，这样还好处理一些。 如果以多个数据源融合后再分页的话，就数据定期同步 或 内存中分页吧。 数据定期同步方案可以根据实际情况去设计同步频率，至于同步到 ES/MySQL/MongoDB 自己决定...阅读全文
GoLang 的数据类型 在 GoLang 中，数据类型用于声明函数和变量。数据类型的出现是为了把数据分成所需内存大小不同的数据，编程的时候需要用大数据的时候才需要申请大内存，就可以充分利用内存。 GoLang 有以下几种数据类型： 类型 描述 布尔 基本数据类型，只有两个值，并且只可以是常量 —— true 或者 false。 数值 基本数据类型，GoLang 支持整型、浮点型数字，并且支持复数，其中位的运算采用补码。 字符串 基本数据类型，GoLang 中 string 类型被官方定为基本数据类型，是一串由单个字节连接起来的字符序列。GoLang 字符串的字节使用 UTF-8 编码标识 Unicode 文本。 派生 派生类型包括很多种，其中有：指针、数组、结构体、管道、切片、接口...阅读全文
goroutine goroutine是Go内置的轻量级线程，它的调度由Go运行时管理，调用函数时前面加上关键字go就可以让函数在goroutine中执行。 func print123(){ for i:=0;i<3;i++{ time.Sleep(time.Millisecond*100) fmt.Println(i+1) } } func main(){ go print123() print123()//1 1 2 2 3 3 time.Sleep(time.Second*5) } 通道 通道可通过一个指定类型的值来传递数据，<-chan表示只读通道，只能从通道中接受数据，chan<-表示只写通道，只能向通道发送数据，如果未指定方向，则为双向通道。 默认情况下，通道是不带缓冲区的，向无...阅读全文
前言 这周很值得纪念，首先是 goproxy.cn 已缓存的模块版本总数突破了一百万，这甚至比起 Go 官方的 proxy.golang.org 已缓存的还要多出不少。其次是 goproxy.cn 的日访问量已稳定在千万级，正在朝着亿级进发，目前这在国内我了解到的别的几个同类服务中是最多的了。另外尤为重要的一点是，经过我们的不懈努力，甚至付出了两次事故的代价（详见：status.goproxy.cn），我们终于使得 goproxy.cn 达到了零错误率！现在的 goproxy.cn 可以说是很稳的了，大家可以放心使用。 刚刚在开头稍微为这一个月发生的事情做了个小总结。接下来说一下本次的重点，也就是 goproxy.cn 推出了 Go 模块代理世界中的首个统计数据 API（文档详见：gopro...阅读全文
向新程序员讲解 Go 语言的时候，必要的是解释 Go 各种数据值在内存中的组织来给他们建立正确的思想，知道哪些操作是开销昂贵的，哪些是不昂贵的。这篇文章就是关于基本类型，结构，数组和切片的内部实现原理。基本类型让我们从一个简单的例子开始图1 变量 i 的类型是 int, 在内存中用一个32比特位的字来表示。j 的类型是 int32 ，由于显示类型转换。即使 i 和 j 由相同的内存布局，他们本质上还是不同的类型：在 Go 中直接 i = j 赋值将会产生一个错误，我们必须显示的转化 j，i = int(j)。 值 f 的类型是 float，在内存中用 32 比特位的浮点值格式表示，它和 int32 有相同的内存使用量但是内部布局是不同的，感兴趣的可以去了解一个浮点数如何在内存中表示。结构体...阅读全文
// io包提供了原始I/O的基础接口 // 它的主要工作是去包含这些原始I/O已经存在的实现 // 比如在os包中的这些，抽象出功能做成共享接口，加上其它相关的原始I/O // 因为这些接口和原始I/O包裹着各种各样的实现的低级操作，除非非常了解客户端否则不能假定他们是并发安全的 package my_io import "errors" // Seek值的来源 const ( SeekStart = 0 //seek对应文件的起始处 SeekCurrent = 1 // seek对应当前的偏距 SeekEnd = 2 // seek对应结尾 ) // ErrShortWrite意味着一个write接收到少于要求字节数的数据，并没有返回一个明确的错误 var ErrShortWrite =...阅读全文
数组是同一种数据类型元素的集合。 数组声明时需要确定数组大小，一旦定义，不可修改。 数组的长度必须是常量，并且长度是数据类型的一部分。[5]int和[3]int是不同的类型。 数组索引从0开始。 数组是值类型。 var 变量名 [数量]T 声明和初始化 func main() { //数组声明 var a [5]int var b [3]int //数组赋值 a = [5]int{1,2,3,4,5} b = [3]int{1} fmt.Println(a) //[1 2 3 4 5] fmt.Println(b) //[1 0 0] fmt.Printf("a:%T b:%T\n", a, b) //a:[5]int b:[3]int //数组声明又赋值 var c = [3]string...阅读全文
Java的并发：基于线程 Golang的并发：基于协程goroutine 并发会导致资源竞争：加锁 防止资源竞争的三种方式： 原子函数：atomic.LoadInt32，atomic.StoreInt32 互斥锁：mutex sync.Mutex, mutex.Lock(), mutex.Unlock() 通道：channel 通道Channel 声明 使用chan声明通道，并指明需要发送和接收的数据类型。例如： ch := make(chan int) 声明通道可以有第二个参数，用来指定通道大小。 ch := make(chan int) ch := make(chan int, 0) ch := make(chan int, 2) 第一种和第二种等价，都为无缓冲通道。第三种为有缓冲通道，...阅读全文
Hi，大家好，我是明哥。 在自己学习 Golang 的这段时间里，我写了详细的学习笔记放在我的个人微信公众号 《Go编程时光》，对于 Go 语言，我也算是个初学者，因此写的东西应该会比较适合刚接触的同学，如果你也是刚学习 Go 语言，不防关注一下，一起学习，一起成长。 我的在线博客：http://golang.iswbm.com我的 Github：github.com/iswbm/GolangCodingTime 刚接触 Go 语言的信道的时候，经常会遇到死锁的错误，而导致这个错误的原因有很多种，这里整理了几种常见的。 fatal error: all goroutines are asleep - deadlock! 错误示例一 看下面这段代码 package main import "f...阅读全文
```go 迷宫数据文件 maze.in 12 16 0 1 0 0 0 1 0 1 0 1 1 1 1 1 1 1 0 0 0 1 0 1 0 0 0 0 0 0 0 0 0 0 0 1 0 1 0 1 0 0 1 1 1 1 1 1 0 0 1 1 1 0 0 1 0 1 1 0 0 0 0 0 1 0 0 1 0 0 1 1 0 1 1 1 0 1 1 0 0 0 0 1 0 0 0 1 0 1 1 0 0 0 0 1 1 1 1 0 0 1 1 1 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 1 1 0 1 1 1 1 0 1 0 0 1 0 1 1 0 1 0 0 0 0 0 0 0 0 0 1 0 1 1 0 0 1 0 1 1 1 1 1 1 1 0...阅读全文
祈祷式编程 祈祷式编程 如果代码中包含以下代码 或者上线后进行这种活动 那么这种编程方式就是祈祷式编程。 用流程图表示基本就是这个样子。 祈祷式编程有什么危害呢？ 累，每次写完代码还需要再祈祷 不受控，代码运行结果主要看运气，大仙忙的时候可能保佑不了 解决这个问题有好多种方法，单元测试是其中之一。 单元测试 什么是单元测试 单元测试是由开发人员编写的，用于对软件基本单元进行测试的可执行的程序。单元（unit）是一个应用程序中最小的课测试部分。（比如一个函数，一个类 google 把测试分成小型测试、中型测试和大型测试。单元测试基本和小型测试的作用类似，但是通常也会使用mock或者stub 的方式模拟外部服务。 理想情况下，单元测试应该是相互独立、可自动化运行的。 目的： 通常用单元测试来验证...阅读全文
第四篇：数据类型 这篇文章是我们的《Golang系列教程》的第四篇文章。 下面是Go语言中的基本数据类型: bool Numberic Types int8, int16,int32,int64,int uint8,uint16,uint64,uint float32,float64 complex64,complex128 byte rune bool 布尔类型代表了一个布尔值，它要么是true要么是false。 package main import "fmt" func main() { a := true b := false fmt.Println("a:", a, "b:", b) c := a && b fmt.Println("c:", c) d := a || b fmt....阅读全文
正确解析class文件是万里长征第一步。本篇我们会全程使用golang完成class文件的解析工作。 数据类型 JVM的class文件完全是二进制文件，最小单位是字节，也有数据类型，但都是字节的整数倍（废话）。规范中class文件一共有两类数据，一种是无符号整数，一种是表。无符号整数一共有u1,u2, u4, u8四种类型，分别表示8bit, 16bit, 32bit, 64bit的无符号整数。表则是无符号整数的集合，class文件中在出现表之前都会先跟着一个u2类型的长度数据，表名后面表的总长度，这样才能正确解析表。 另外还要注意字节序的问题，JVM规范规定class文件统一采用Big Endian字节序，也就是低地址存储高位，高地址存放低位。如果是用C/C++语言写JVM，则程序使用的字...阅读全文
channel简介 channel俗称管道，用于数据传递或数据共享，其本质是一个先进先出的队列，使用goroutine+channel进行数据通讯简单高效，同时也线程安全，多个goroutine可同时修改一个channel，不需要加锁 。 channel可分为三种类型： 只读channel：只能读channel里面数据，不可写入 只写channel：只能写数据，不可读 一般channel：可读可写 channel使用 定义和声明 var readOnlyChan <-chan int // 只读chan var writeOnlyChan chan<- int // 只写chan var mychan chan int //读写channel //定义完成以后需要make来分配内存空间，不然...阅读全文
字典 我们翻阅书籍时，很多时候都要查找目录，然后定位到我们要的页数，比如我们查找某个英文单词时，会从英语字典里查看单词表目录，然后定位到词的那一页。 计算机中，也有这种需求。 一、字典 字典是存储键值对的数据结构，把一个键和一个值映射起来，一一映射，键不能重复。在某些教程中，这种结构可能称为符号表，关联数组或映射。我们暂且称它为字典，较好理解。 如： 键=>值 "cat"=>2 "dog"=>1 "hen"=>3 我们拿出键cat的值，就是2了。 Golang提供了这一数据结构：map，并且要求键的数据类型必须是可比较的，因为如果不可比较，就无法知道键是存在还是不存在。 Golang字典的一般的操作如下： package main import "fmt" func main() { // ...阅读全文
开发十年，就只剩下这套Java开发体系了 >>> 常量 常量和C#中的概念相同，在编译期被创建。因为在编译期必须确定其值，因此在声明常量时有一些限制。 其类型必须是：数值、字符串、布尔值 表达式必须是在编译期可计算的 声明常量的同时必须进行初始化，其值不可再次修改 Doc http://golang.org/doc/go_spec.html#Constants http://golang.org/doc/go_spec.html#Constant_expressions http://golang.org/doc/go_spec.html#Constant_declarations http://golang.org//doc/go_spec.html#Iota 语法 const关键字用于声...阅读全文
1：new：func new(Type) *Type 接受一个参数，这个参数是一种类型，而不是一个值，分配好内存后，返回一个指向该类型内存地址的指针，这个指针指向的内容的值为该类型的零值。对于不同的数据类型，零值的意义是完全不一样的。比如，对于bool类型，零值为false；int的零值为0；string的零值是空字符串2：make：func make(t Type, size ...IntegerType) Type，具体而言，有如下几种用法：（1）make(map[string]string)：即缺少长度的参数，只传类型，这种用法只能用在类型为map或chan的场景（2）make([]int, 2)：指定了长度，例如make([]int, 2)返回的是一个长度为2的slice（3）mak...阅读全文
Hi，大家好，我是明哥。 在自己学习 Golang 的这段时间里，我写了详细的学习笔记放在我的个人微信公众号 《Go编程时光》，对于 Go 语言，我也算是个初学者，因此写的东西应该会比较适合刚接触的同学，如果你也是刚学习 Go 语言，不防关注一下，一起学习，一起成长。 我的在线博客：golang.iswbm.com 我的 Github：github.com/iswbm/GolangCodingTime 刚接触 Go 语言的信道的时候，经常会遇到死锁的错误，而导致这个错误的原因有很多种，这里整理了几种常见的。 fatal error: all goroutines are asleep - deadlock!复制代码错误示例一 看下面这段代码 package main import "fmt"...阅读全文
概述 在业务系统开发中，尤其是后台管理系统，列表页展示的数据来自多个数据源，列表页需要支持分页，怎么解决？ 问题 如上图，数据源可能来自不同 DB 数据库，可能来自不同 API 接口，也可能来自 DB 和 API 的组合。 我这也没有太好的解决方案，接到这样的需求，肯定首先和需求方沟通，这样分页是否合理。 无非就两种方案： 数据定期同步，首先将查询的数据汇总到一个地方，然后再进行查询分页。 内存中分页，首先将查询的数据存放到内存，然后再进行查询分页。 如果以某一数据源进行分页，其他字段去其他数据源获取，这样还好处理一些。 如果以多个数据源融合后再分页的话，就数据定期同步 或 内存中分页吧。 数据定期同步方案可以根据实际情况去设计同步频率，至于同步到 ES/MySQL/MongoDB 自己决定...阅读全文
前言 这周很值得纪念，首先是 goproxy.cn 已缓存的模块版本总数突破了一百万，这甚至比起 Go 官方的 proxy.golang.org 已缓存的还要多出不少。其次是 goproxy.cn 的日访问量已稳定在千万级，正在朝着亿级进发，目前这在国内我了解到的别的几个同类服务中是最多的了。另外尤为重要的一点是，经过我们的不懈努力，甚至付出了两次事故的代价（详见：status.goproxy.cn），我们终于使得 goproxy.cn 达到了零错误率！现在的 goproxy.cn 可以说是很稳的了，大家可以放心使用。 刚刚在开头稍微为这一个月发生的事情做了个小总结。接下来说一下本次的重点，也就是 goproxy.cn 推出了 Go 模块代理世界中的首个统计数据 API（文档详见：gopro...阅读全文
总目录：https://www.jianshu.com/p/e406a9bc93a9 Golang - 子目录：https://www.jianshu.com/p/8b3e5b2b4497 map map是一种无序的基于key-value的数据结构，Go语言中的map是引用类型，必须初始化才能使用。 map的定义 语法： map[键数据类型]值数据类型 map类型的变量默认初始值为nil，需要使用make()函数来分配内存。 语法： make(map[键数据类型]值数据类型, [容量]) map的基本使用 package main import "fmt" func main() { // 定义一个map 并初始化 长度最好在初始化时就设置好 scoreMap := make(map[str...阅读全文
Go 教程系列笔记 Interface 第一部分 Go 教程系列笔记 Interface 第二部分 Go 教程系列笔记 并发介绍 Go 教程系列笔记 goroutine（协程） Go 教程系列笔记 Channel 通道 Go 教程系列笔记 缓冲通道和工作池 Go 教程系列笔记 Select Go 教程系列笔记 Mutex（互斥锁） Go 教程系列笔记 结构而不是类-Go中的OOP Go 教程系列笔记 组合而不是继承-Go 中的 OOP Go 教程系列笔记 多态-Go 中的 OOP 在上一个教程中，我们讨论了如何使用 goroutine 在 Go 中实现并发。在本教程中，我们将讨论有关通道以及 goroutine 如何使用通道进行通信。 什么是通道？ 通道可以被认为是 goroutine 通信...阅读全文
package main import ( "fmt" "sync" "time" "unsafe" ) func main10() { done := make(chan struct{}) // 结束事件 c := make(chan string) // 数据传输通道 go func() { s := <-c // 接受消息 println(s) close(done) // 关闭通道，作为结束通知 }() c <- "hi!" // 发送消息 <-done // 阻塞，直到有数据或者管道关闭 } func main11() { c := make(chan int, 3) // 创建带 3 个缓冲槽的异步通道 c <- 1 // 缓冲区未满，不会阻塞 c <- 2 println(<...阅读全文
开发十年，就只剩下这套Java开发体系了 >>> 常量 常量和C#中的概念相同，在编译期被创建。因为在编译期必须确定其值，因此在声明常量时有一些限制。 其类型必须是：数值、字符串、布尔值 表达式必须是在编译期可计算的 声明常量的同时必须进行初始化，其值不可再次修改 Doc http://golang.org/doc/go_spec.html#Constants http://golang.org/doc/go_spec.html#Constant_expressions http://golang.org/doc/go_spec.html#Constant_declarations http://golang.org//doc/go_spec.html#Iota 语法 const关键字用于声...阅读全文
Hi，大家好。 我是明哥，在自己学习 Golang 的这段时间里，我写了详细的学习笔记放在我的个人微信公众号 《Go编程时光》，对于 Go 语言，我也算是个初学者，因此写的东西应该会比较适合刚接触的同学，如果你也是刚学习 Go 语言，不防关注一下，一起学习，一起成长。 我的在线博客：http://golang.iswbm.com我的 Github：github.com/iswbm/GolangCodingTime 0. 什么是指针 当我们定义一个变量 name var name string = "Go编程时光" 此时，name 是变量名，它只是编程语言中方便程序员编写和理解代码的一个标签。 当我们访问这个标签时，机算机会返回给我们它指向的内存地址里存储的值：Go编程时光。 出于某些需要，我...阅读全文
slice切片(Slice)由指针、长度、容量组成，属于引用类型，是一种基于数组的可变长数据类型，与数组array类型关系密切，其中： 1. 指针指向所引用数组的特定元素，该元素为slice的首元素，但不一定是数组的首元素 2.长度(len)为切片的长度 3.容量，从指针指向的数组的位置，到数组最后元素位置的长度 使用append可以向切片添加元素，像slice添加元素，实际上是向slice所引用的数组添加元素，如果对应数组存在空间添加，则直接添加元素，当切片所引用的数组空间已满，无法再添加元素时，则底层，会新建一个匿名数组，并将slice内的元素从旧的数组中copy到新的匿名数组，该匿名数组的大小，为slice的容量*2，slice则指向这个新的匿名数组，同时在数组中添加元素，完成appe...阅读全文
go 支持的数据类型 bool 类型 数字类型 有符号整型 无符号整型 浮点型 复数类型 //bool 类型//bool 表示布尔值，值为true 或者false func booltest() { x :=true y :=false fmt.Println("x",x,"y",y) } 输出：x true y false 数字类型分为：有符号整型、无符号整型、 有符号整型int 8 表示8位 有符号整型范围 -128～127 int 16 表示16位有符号整型说值范围 -32768～32767 int32 表示32 位有符号整型范围 -2147483648～2147483647 int64 表示64位有符号整型-9223372036854775808～922337203685477580...阅读全文
在Go语言中常用的基本数据类型有如下几种： 整型 浮点型 布尔类型 复数 字符串 整型 有符号 int8 int16 int32 int64 无符号 uint8 uint16 uint32 uint64 特殊整型 uint，32位操作系统就是uint32，64位操作系统就是uint64 int，32位操作系统就是int32，64位操作系统就是int64 uintptr，无符号整型，用于存放指针 注意：在使用int和 uint类型时，不能假定它是32位或64位的整型，而是考虑int和uint可能在不同平台上的差异。 进制 // 程序入口 func main() { // age = "17" // fmt.Println("Hello World") // fmt.Print("isOK") ...阅读全文
本文由 简悦 SimpRead 转码， 原文地址 https://hitzhangjie.github.io/jekyll/update/2018/05/19/golang-select-case%E5%AE%9E%E7%8E%B0%E6%9C%BA%E5%88%B6.html 在介绍 select-case 实现机制之前，最好先了解下 chan 操作规则，明白 goroutine 何时阻塞，又在什么时机被唤醒，这对后续理解 select-case 实现有帮助。所以接下来先介绍 chan 操作规则，然后再介绍 select-case 的实现。 1.1 chan 操作规则 1 当一个 goroutine 要从一个 non-nil & non-closed chan 上接收数据时，gorouti...阅读全文
> NSQ 消息队列实现消息落地使用的是 FIFO 队列。 > 实现为 **diskqueue** , 使用包 `github.com/nsqio/go-diskqueue` ,本文主要对 `diskqueue`的实现做介绍。 ## 功能定位 - 在NSQ 中， diskqueue 是一个实例化的 BackendQueue, 用于**保存在内存中放不下的消息**。使用场景如Topic 队列中的消息，Channel 队列中的消息 - 实现的功能是一个FIFO的队列，实现如下功能: - **支持消息的插入、清空、删除、关闭操作** - **可以返回队列的长度**(写和读偏移的距离) - 具有读写功能，FIFO 的队列 ## diskqueue 的实现 BackendQue...阅读全文
摘要： 大家好，这里和大家分享的是DataWorks数据集成中测试连通性失败的排查思路。与测试连通性成功与否的相关因素有很多，本文按照多个因素逐步排查，最终解决问题，希望大家以后再遇到此类问题，请参考此文，相信能够顺利解决您的问题。 一、问题现象 此案例中，DataWorks项目位于华东2，RDS Mysql数据源位于华东1（VPC网络），使用DataWorks进行数据同步之前，首先需要建立数据源，但在建立数据源RDS Mysql的配置页面，“测试连通性”失败，即数据源并没有连通。 1 二、问题处理过程 （1）首先，应该判断该数据源是否支持“测试连通性” 遇到测试连通性问题，首先应该判断该数据源是否支持“测试连通性”，请大家参考《各数据源测试连通性支持情况》。...阅读全文
3.程序中"+"的应用 当左右两边都是数值型时，则做加法运算 当左右两边都是字符串，则做字符串拼接 i1, i2 := 2, 4 i3 := i1 + i2 fmt.Println("加法相加", i3) str1, str2 := "wang", "peng" str3 := str1 + str2 fmt.Println("字符拼接", str3) 结果 加法相加 6 字符拼接 wangpeng 4.数据类型的基本介绍 数据类型的基本介...阅读全文
分区是hive存放数据的一种方式。将列值作为目录来存放数据，就是一个分区。这样查询时使用分区列进行过滤，只需根据列值直接扫描对应目录下的数据，不扫描其他不关心的分区，快速定位，提高查询效率。分动态和静态分区两种： 1.静态分区：若分区的值是确定的，那么称为静态分区。新增分区或者是加载分区数据时，已经指定分区名。 createtableifnotexistsday_part1( uidint, unamestring ) partitionedby(yearint,monthint) rowformatdelimitedfieldsterminatedby'' ; ##加载数据指定分区 loaddatalocalinpath'/root/Desktop/student.txt'intotabl...阅读全文
由于涉及到公司内部项目，内容已被删除...阅读全文
在 Go 编程语言中，数据类型用于声明函数和变量。 数据类型的出现是为了把数据分成所需内存大小不同的数据，编程的时候需要用大数据的时候才需要申请大内存，就可以充分利用内存。 Go 语言按类别有以下几种数据类型： 序号 类型和描述 1 布尔型 布尔型的值只可以是常量 true 或者 false。一个简单的例子：var b bool = true。 2 数字类型 整型 int 和浮点型 float32、float64，Go 语言支持整型和浮点型数字，并且支持复数，其中位的运算采用补码。 3 字符串类型: 字符串就是一串固定长度的字符连接起来的字符序列。Go 的字符串是由单个字节连接起来的。Go 语言的字符串的字节使用 UTF-8 编码标识 Unicode 文本。 4 派生类型: 包括： (a) ...阅读全文
Channel是Go中的一个核心类型，你可以把它看成一个管道，通过它并发核心单元就可以发送或者接收数据进行通讯(communication)。 类型 T表示任意的一种类型 双向: chan T 单向仅发送： chan <- 单向仅接受： <- chan 单向的channel，不仅可以通过声明make(chan <- interface{}) 来创建，还可以通过隐身或显示的通过 chan 来转换，如下 func main() { channel := make(chan int, 10) convert(channel) } func convert(channel chan<- int) {} 在 convert函数中，就可以吧channel当成单向输入管道来使用了 既然 双向 chan，既...阅读全文
字符串： string是数据类型，不是引用或指针类型 string是只读的byte slice，len函数可以获取它所包含的byte数 string的byte数组可以存放任何数据 func TestStringInit(t *testing.T) { var s string t.Log(s) // 初始化为默认零值"" 空字符串 s = "hello" t.Log(len(s)) // 5 5个byte //s[1] = 3 // string是不可变的byte slice 不可以赋值 s = "\xE4\xB8\xA5" // 可以存储任何二进制数据 t.Log(s) // 严 t.Log(len(s)) // 3 为3个byte } Unicode UTF8： Unicode是一种字符...阅读全文
每天一点Go语言——Go语言语法基础及基本数据类型 一、Go语言基础语法 上篇Go语言讲解中谈到了有关Go语言的基本组成结构，该小节就来讲述有关go语言的基础语法。Go语言程序由多个标记组成，如：关键字、标识符、常量、符号、字符串。 行分割符——一行表示一个语句结束，无需写“；”。当然，你可以将多条语句写在一行，并且使用“；”号区分，但是不推荐这样写开发代码。 注释在本文就不多说了。 标识符 如果说变量是shell入门的第一道关卡，那么可以说，标识符就是开发语言的第一道门槛。 标识符，从官方角度解释：用于命名变量、类型等程序实体。一个标识符具备的特点：实际上就是一个或是多个字母(A~Z和a~z)数字(0~9)、下划线_组成的序列，但是第一个字符必须是字母huo下划线而不能...阅读全文
基础数据类型 在Go语言中，数据类型用于声明函数与变量、常量数据的类型，声明何种数据类型主要是为了提高内存的利用率，因为不同的数据类型在内存所需要的空间大小是不一样的。 Golang内置基础数据类型如下表所示： 数据类型名称 类型和描述 boolean 布尔型，值可以是常量true或false int&uint 带符号和无符号两种整型。int8,int16,int32(rune),int64和uint8(byte),uint16,uint32,uint64。uintptr类型在指针小节中单独介绍。 float32&float64 Golang没有float这种类型，只有float32和float64两种类型 complex64&complex128 复数类型，complex64包含float...阅读全文
Hi，大家好，我是明哥。 在自己学习 Golang 的这段时间里，我写了详细的学习笔记放在我的个人微信公众号 《Go编程时光》，对于 Go 语言，我也算是个初学者，因此写的东西应该会比较适合刚接触的同学，如果你也是刚学习 Go 语言，不防关注一下，一起学习，一起成长。 我的在线博客：golang.iswbm.com 我的 Github：github.com/iswbm/GolangCodingTime Go 语言之所以开始流行起来，很大一部分原因是因为它自带的并发机制。 如果说 goroutine 是 Go语言程序的并发体的话，那么 channel（信道） 就是 它们之间的通信机制。channel，是一个可以让一个 goroutine 与另一个 goroutine 传输信息的通道，我把他叫做...阅读全文
Go 语言学习笔记 -第3章 [toc] 基本数据类型 数值型整数类型 int, int8（1字节）, int16（2字节）, int32（3字节）, int64（4字节）； int8范围： -2的七次方 到2的七次方 - 1xxxxxxxxxx uint, uint8, uint16, uint32, unit64, byte uint8范围：0 到2的8次方-1xxxx以此类推 rune ~ 等价int32, 表示一个unicode byte 0~255 浮点类型 float32, float64 字符型：没有专门的字符型，使用byte来保存单个字母字符 布尔型: bool 字符串：string 派生、复杂数据类型 指针数组结构体管道函数切片接口map 备注： 1、查看某个变量的数据类型...阅读全文
1 概述 一旦定义，其值不可更改的量，称之为常量。也是常量标识符和常量值。 常量用于存储简单数据类型：数值，字符串。 2 定义 语法：const c1 string = “GoLang” 语法上，支持批量定义，支持类型推导: const ( c1 int = 42 c2 = 42 c3 = "golang" ) fmt.Println(c1,c2,c3) 注意： 批量定义，若 后边的只写常量名，则代表和上一个一致 const ( c1 = 42 c2 c3 ) fmt.Println(c1,c2,c3) // 42 42 42 3 使用常量的意义 防止被无意的修改。 将特定的数据语义化。 例如错误处理，使用不同的数值，表示不同的错误级别，如下所示： // 1023 表示全部的错误级别 // ...阅读全文
Go 语言学习笔记 -第4章 [toc] 复合数据类型 数组 Golang中操作数组或者序列化数据需要用到slice，程序中写作“[]" slice 指向数组的值，并且同时包含了长度信息 package main import "fmt" func main() { // list := []int{1, 2, 3, 4} list := [...]int{1, 2, 3, 4} fmt.Println(list) fmt.Printf("Type %T\n", list) for i := 0; i < len(list); i++ { fmt.Printf("list[%d]=%d\n", i, list[i]) } //重新切片s[low:high], low->(high-1) fm...阅读全文
优先队列及堆排序 堆排序(Heap Sort)由威尔士-加拿大计算机科学家J. W. J. Williams在1964年发明，它利用了二叉堆(A binary heap)的性质实现了排序，并证明了二叉堆数据结构的可用性。同年，美国籍计算机科学家R. W. Floyd在其树排序研究的基础上，发布了一个改进的更好的原地排序的堆排序版本。 堆排序属于选择类排序算法。 一、优先队列 优先队列是一种能完成以下任务的队列：插入一个数值，取出最小或最大的数值（获取数值，并且删除）。 优先队列可以用二叉树来实现，我们称这种结构为二叉堆。 最小堆和最大堆是二叉堆的一种，是一颗完全二叉树（一种平衡树）。 最小堆的性质： 父节点的值都小于左右儿子节点。 这是一个递归的性质。 最大堆的性质： 父节点的值都大于左右儿...阅读全文
