Goroutine + Channel 实践

背景 在最近开发的项目中，后端需要编写许多提供HTTP接口的API，另外技术选型相对宽松，因此选择Golang + Beego框架进行开发。之所以选择Golang，主要是考虑到开发的模块，都需要接受瞬时大并发、请求需要经历多个步骤、处理时间较长、无法同步立即返回结果的场景，Golang的goroutine以及channel所提供的语言层级的特性，正好可以满足这方面的需要。 goroutine不同于thread，threads是操作系统中的对于一个独立运行实例的描述，不同操作系统，对于thread的实现也不尽相同；但是，操作系统并不知道goroutine的存在，goroutine的调度是有Golang运行时进行管理的。启动thread虽然比process所需的资源要少，但是多个thread之间...阅读全文

golang--gin获取post里body的参数

如题，post发送数据有几种形式，form和流是最常用的。特别是在程序里使用httpclients，一般都算通过流发送。在php里，是通过php://input来获取的。在gin中，可以通过c.Request.Body.Read(buf)。具体代码如下： package main import ( "fmt" "net/http" "github.com/gin-gonic/gin" ) func main() { router := gin.Default() router.POST("/events", events) router.Run(":5000") } func events(c *gin.Context) { buf := make([]byte, 1024) n, _ :=...阅读全文

golang 利用http.Client POST数据

package main import ( "fmt" "io/ioutil" "net/http" "net/url" "strings" ) func main() { v := url.Values{} v.Set("huifu", "hello world") body := ioutil.NopCloser(strings.NewReader(v.Encode())) //把form数据编下码 client := &http.Client{} req, _ := http.NewRequest("POST", "http://192.168.2.83:8080/bingqinggongxiang/test2", body) req.Header.Set("Content-Type"...阅读全文

go语言的chan

chan是一个FIFO队列，chan分成两种类型同步和异步同步的chan完成发送者和接受者之间手递手传递元素的过程，必须要求对方的存在才能完成一次发送或接受异步的chan发送和接受都是基于chan的缓存，但当缓存队列填满后，发送者就会进入发送队列, 当缓存队列为空时，接受者就会接入等待队列。 chan的数据结构: struct Hchan { uintgo qcount; // total data in the q uintgo dataqsiz; // size of the circular q uint16 elemsize; uint16 pad; // ensures proper alignment of the buffer that follows Hchan in mem...阅读全文

腾讯云短信的 SDKqcloudsms_go

使用Go语言开发的腾讯云短信的SDK，完成了目前腾讯云提供的所有功能。 此 SDK 为非官方版本，命名和结构上与官方版本有一些区别。 海外短信和国内短信使用同一接口，只需替换相应的国家码与手机号码，每次请求群发接口手机号码需全部为国内或者海外手机号码。 语音通知目前支持语音验证码以及语音通知功能。 短信  单发短信  指定模板单发短信  群发短信  群发模板短信  短信下发状态通知  短信回复  拉取短信状态  拉取单个手机短信状态 语音  发送语音验证码  发送语音通知  语音验证码状态通知  语音通知状态通知  语音通知按键通知  语音送达失败原因推送 模板  添加模板  修改模板  删除模板  模板状态查询 签名  添加签名  修改...阅读全文

Go语言 Channel <- 箭头操作符 详解

Channel是Go中的一个核心类型，你可以把它看成一个管道，通过它并发核心单元就可以发送或者接收数据进行通讯(communication)。它的操作符是箭头 <- 。[plain] view plain copy print?ch <- v // 发送值v到Channel ch中 v := <-ch // 从Channel ch中接收数据，并将数据赋值给v ch <- v // 发送值v到Channel ch中 v := <-ch // 从Channel ch中接收数据，并将数据赋值给v (箭头的指向就是数据的流向)就像 map 和 slice 数据类型一样, channel必须先创建再使用:[plain] view plain copy print?ch := make(chan int...阅读全文

基于go语言的消息推送系统架构分析

本系统是猎豹移动基于go语言开发的一套消息推送系统，源码地址：https://github.com/Terry-Mao/goim 一、架构图 二、功能简介 1.comet 长连接服务器，支持长轮训、tcp、websocket连接，有超时机制 2.logic 逻辑处理服务器，消息推送入口，通过userId在router服务器中查找对应的comet服务器，将serverId和消息一起保存到kafka队列，logic是无状态服务器，可以随意增删，因为comet需要连接logic，所以在comet服务器中需要连接logic的通过LVS的虚IP，LVS加了real server后不会断开，所以需要在comet服务触发SIGHUP，重新load配置文件。 3.router 路由服务器，保存userId和...阅读全文

Go 系列教程 —— 24. Select

欢迎来到 [Golang 系列教程](https://studygolang.com/subject/2)的第 24 篇。 ## 什么是 select？ `select` 语句用于在多个发送/接收信道操作中进行选择。`select` 语句会一直阻塞，直到发送/接收操作准备就绪。如果有多个信道操作准备完毕，`select` 会随机地选取其中之一执行。该语法与 `switch` 类似，所不同的是，这里的每个 `case` 语句都是信道操作。我们好好看一些代码来加深理解吧。 ## 示例 ```go package main import ( "fmt" "time" ) func server1(ch chan string) { time.Sleep(6 * time.Second) ch <-...阅读全文

golang 使用 gomail 发送邮件

下面以阿里云邮箱为例， 如果使用的是qq邮箱的话需要把mailConn里面的host改成'smpt.qq.com',user 填写qq邮箱地址， pass需要填写你在qq邮箱设置里面获取到的授权码，qq邮箱需要先去邮箱设置里面开通smtp支持，然后获取授权码。然后就可以用qq邮箱发送了。 安装gomail go get gopkg.in/gomail.v2 package main import ( "gopkg.in/gomail.v2" "strconv" ) func SendMail(mailTo []string,subject string, body string ) error { //定义邮箱服务器连接信息，如果是阿里邮箱 pass填密码，qq邮箱填授权码 mailConn...阅读全文

Go语言爬虫

之前写爬虫都是用的python语言，最近发现go语言写起来也挺方便的，下面简单介绍一下。这里说的爬虫并不是对网络中的很多资源进行不断的循环抓取，而只是抓通过程序的手段都某些网页实现特定的信息抓取。可以简单分成两个部分：抓取网页，对网页进行解析。抓取网页。一般是向服务器发送一个http get/post请求，得到response。go提供的http包可以很好的实现。get方法：1resp, err := http.Get(“http://www.legendtkl.com") post方法：12resp, err := http.Post(“http://example.com/upload”, “image/jpg”, &buf)resp, err := http.PostForm(...阅读全文

golang 速度限制，time.Tick(time.Second*2) channel，隔2秒后继续执行

package main import ( "fmt" "time" ) func main() { requests := make(chan int, 5) for i := 1; i <= 2; i++ { requests <- i } close(requests) limiter := time.Tick(time.Millisecond * 200) for req := range requests { //会循环两次，前面往requests channel中发送了两个值 <-limiter //执行到这里，需要隔 200毫秒才继续往下执行，time.Tick(timer)上面已定义 fmt.Println("request", req, time.Now()) } burs...阅读全文

golang 实现tcp转发代理

package main import ( "flag" "fmt" "io" "net" "os" "strings" "sync" ) var lock sync.Mutex var trueList []string var ip string var list string func main() { flag.StringVar(&ip, "l", ":9897", "-l=0.0.0.0:9897 指定服务监听的端口") flag.StringVar(&list, "d", "127.0.0.1:1789,127.0.0.1:1788", "-d=127.0.0.1:1789,127.0.0.1:1788 指定后端的IP和端口,多个用','隔开") flag.Parse() tr...阅读全文

golang socket编程

osi参考模型将计算机网络结构分为7个层次，但是在实际的开发应用中，我们更加认可TCP/IP族协议的五层结构，即应用层(http、ftp、dns)，传输层（udp、tcp），网络层（ip），链路层（以太网），物理层。 socket编程作为一种基于网络层和传输层的数据io模式主要分为两种，TCP Socket和UDP Socket，也即面向连接的流式Socket和面向无连接的数据报式Socket。 今天主要和大家讲讲golang的TCP Socket编程。先来看个简单的例子吧 server.go //模拟server端 func main() { tcpServer, _ := net.ResolveTCPAddr("tcp4", ":8080") listener, _ := net.Lis...阅读全文

Golang实现一个微信抽奖小程序后台

一、后台整体架构小程序和后台间使用https通信，保证安全性，这也是为了满足小程序官方的硬性规定。腾讯负载均衡作为后台入口有几个好处：帮助处理https的流量，然后解密后再将请求通过http转发给后端的服务器，简化了逻辑，减少了https对后台服务的性能影响，同时还能配置进行动态的伸缩。负载均衡将请求通过http转发给cvm进行处理。nginx做了个反向代理，go服务端跑在本地。使用腾讯云的redis和mysql数据库。redis用于频繁的用户鉴权等，mysql保存常规数据。这样的设计在抽奖这种情境下，已经能保证足够的并发和流量了。如果想提高并发量，可以通过配置负载均衡来进行动态伸缩，然后增加云数据库的处理能力。有时间再写下怎么进行性能评测和相应的提高并发量的升级。更多go语言内容请关注：h...阅读全文

go channel实现

go channel实现 转载自：http://alpha-blog.wanglianghome.org/2012/04/13/go-channel-implementation/ G语言经过多年的发展，于最近推出了第一个稳定版本。相对于C/C++来说，Go有很多独特之出，比如提供了相当抽象的工具，如channel和goroutine。本文主要介绍channel的实现方式。 简介 channel有四个操作： 创建：c = make(chan int)发送：c <- 1提取：i <- c关闭：close(c) 根据创建方式的不同，channel还可分为有buffer的channel和没有buffer的channel。buffer的大小由make的第二个参数指定，默认为0，即没有buffer。创...阅读全文

[golang]为什么Response.Body需要被关闭

Body io.ReadCloser The http Client and Transport guarantee that Body is always non-nil, even on responses without a body or responses with a zero-length body. It is the caller's responsibility to close Body. The default HTTP client's Transport does not attempt to reuse HTTP/1.0 or HTTP/1.1 TCP connections ("keep-alive") unless the Body is read to c...阅读全文

Golang动手写一个Http Proxy

本文主要使用Golang实现一个可用但不够标准，支持basic authentication的http代理服务。 为何说不够标准，在HTTP/1.1 RFC中，有些关于代理实现标准的条目在本文中不考虑。 Http Proxy是如何代理我们的请求 Http 请求的代理如下图，Http Proxy只需要将接收到的请求转发给服务器，然后把服务器的响应，转发给客户端即可。 Https 请求的代理如下图，客户端首先需要发送一个Http CONNECT请求到Http Proxy，Http Proxy建立一条TCP连接到指定的服务器，然后响应200告诉客户端连接建立完成，之后客户端就可以与服务器进行SSL握手和传输加密的Http数据了。 为何需要CONNECT请求？ 因为Http Proxy不是真正的服务...阅读全文

[golang]GO语言编写的基于UDP协议的简易聊天软件

初学GO不到两周，本着熟悉语言的目标写了这个小程序，漏洞很多，实现上写的也有些渣渣，欢迎大家阅读指点。 下载地址：https://github.com/yinxin630/gochat 简单思路描述： 0、服务端监听客户端请求，完成会话转发的任务 1、服务端采用心跳包维护用户在线状态 2、客户端通知服务端自己的监听地址，创建服务端-客户端信息通道 服务端： package main import ( "fmt" "net" "os" "strconv" "time" ) //用户信息 type User struct { userName string userAddr *net.UDPAddr userListenConn *net.UDPConn chatToConn *net.UDPC...阅读全文

webhook 是什么以及如何创建

我们在网上做的工作，大部分其实就是事件，webhooks 已经成为了连接系统的主要方式，不管是用户创建、支付成功、DockerHub 镜像推送或者 Git 仓库上的合并请求，这些都是非常有用并且轻量级的共享信息的方式  那么，webhook 究竟是什么呢？webhook 是应用给其它应用提供实时信息的一种方式。信息一产生，webhook 就会把它发送给已经注册的应用，这就意味着你能实时得到数据。不像传统的 APIs 方式，你需要用轮询的方式来获得尽可能实时的数据。这一点使得 webhook 不管是在发送端还是接收端都非常高效。由...阅读全文

golang udp服务端客户端例子

golang udp服务端客户端例子 服务端: package main import ( "fmt" "net" ) func main() { // 创建监听 socket, err := net.ListenUDP("udp4", &net.UDPAddr{ IP: net.IPv4(0, 0, 0, 0), Port: 8080, }) if err != nil { fmt.Println("监听失败!", err) return } defer socket.Close() for { // 读取数据 data := make([]byte, 4096) read, remoteAddr, err := socket.ReadFromUDP(data) if err != nil...阅读全文

Golang 发送Post表单请求

准备服务器 package main import ( "fmt" "net/http" ) func main() { http.HandleFunc("/tpost", func(w http.ResponseWriter, r *http.Request) { if r.Method == "POST" { var ( name string = r.PostFormValue("name") ) fmt.Printf("key is : %s\n", name) } }) err := http.ListenAndServe(":80", nil) if err != nil { fmt.Println(err.Error()) return } } 测试发送POST请求 packa...阅读全文

人工智能聊天机器人Olivia

Olivia 是带有人工神经网络的人工智能聊天机器人。  ### 使用 要使用 REST Api，必须使用两个参数建立对 `/api/response` 的 `POST` 请求： * `sentence` 这是要发送给 Olivia 的消息 * `authorId` 这是一个任意 ID，用于标识用户进行上下文聊天 ### 示例

curl -X POST 'https://olivia-api.herokuapp.com/api/response' --data "...阅读全文