golang中比较好用的kafka client有 sarama confluent-kafka-go go_kafka_client optiopay-kafka siesta 其中 sarama的使用者应该是最多的, 然后还有一个sarama的cluster版本sarama-cluster 本文简单描述下sarama的一些简单使用 生产者接口 func producer_test() { fmt.Printf("producer_test\n") config := sarama.NewConfig() config.Producer.RequiredAcks = sarama.WaitForAll config.Producer.Partitioner = sarama.NewRand...阅读全文
在上篇博客中，介绍了策略型业务逻辑处理中几种选择，其中有一种选择就是利用规则引擎来进行逻辑处理。其实藏在规则引擎的底层中还是有很多算法的，其中有一种算法是rete算法，最近正好也关注算法，就简单的学习了一下，因为对这个算法理解的非常清楚，所以如果有有对这个算法熟悉的朋友，可以给予指正。 RETE算法是一个用于产生式系统的高效模式匹配算法。在一个产生式系统中，被处理的数据叫做working memory，用于判定的规则分为两个部分LHS（left-hand-side）和RHS（right hand side），分别表示前提和结论。主要流程可以分为以下步骤：Match：找出符合LHS部分的working memory集合Confilict resolution：选出一个条件被满足的规则Act：执...阅读全文
for_,v := range ling_str { if v==rune(96) { //................. } } 现在 只能用 rune(96) 来描述 ·符号。 不能用 \` ，大家谁有好写法呢...阅读全文
go语言中的defer就像c++中的析构函数，但是go语言中defer的对象是函数（或者对象的方法），defer能保证在函数结束最后执行该方法（函数），但是有例外：如果在定义的方法中defer定义的方法如果在panic后面，defer定义的方法就无法执行到。 panic 是用来表示非常严重的不可恢复的错误的。在Go语言中这是一个内置函数，接收一个interface{}类型的值作为参数。panic 的作用就像我们平常接触的异常。不过Go可没有try…catch，所以，panic一般会导致程序挂掉（除非recover）。所以，Go语言中的异 常，那真的是异常了。你可以试试，调用panic看看，程序立马挂掉，然后Go运行时会打印出调用栈。 但是，关键的一点是，即使函数执行的时候 panic了，函数...阅读全文
gslang背景知识 gslang是采用go语言编写的RPC描述语言，最初它被用来描述gscluster网络服之间的接口调用契约；而gscluster项目本身是我在tap4fun时开发的一个游戏服务端框架，所以能够看到gscluster里面有很多与游戏相关的概念。但是框架本身是为mico-service而生的，所以你可以将它应用到任何你觉得合适的地方，不必局限于游戏服务器。 gslang是一个完整的RPC描述语言，它与thrift定位相同。没有直接采用thrift的原因是： 在开发gslang的时候，thrift对golang的支持并不完善； 根据项目需要，需要hack代码生成的过程例如：profile，debug 代码； gslang前端解析器在github上的位置：这里 语言特性 gsl...阅读全文
Go语言的类型定义非常接近于C语言中的结构（struct），甚至直接沿用了struct关键字。相比而言，Go语言并没有直接沿袭C++和Java的传统去设计一个超级复杂的类型系统，不支持继承和重载，而只是支持了最基本的类型组合功能。 巧妙的是，虽然看起来支持的功能过于简洁，细用起来你却会发现，C++和Java使用那些复杂的类型系统实现的功能在Go语言中并不会出现无法表现的情况，这反而让人反思其他语言中引入这些复杂概念的必要性。我们在第3章中将详细描述Go语言的类型系统。 Go语言也不是简单的对面向对象开发语言做减法，它还引入了一个无比强大的“非侵入式”接口的概念，让开发者从以往对C++和Java开发中的接口管理问题中解脱出来。在C++中，我们通常会这样来确定接口和类型的关系： // 抽象接口 ...阅读全文
Go-DesignPattern ，Golang描述设计模式开放源代码...阅读全文
【https://golang.org/ref/spec#Types 】--->这是关于type的描述。里面有两句： Types may be named or unnamed. Named types are specified by a (possibly qualified) type name; unnamed types are specified using a type literal, which composes a new type from existing types. 有点不大理解，因为下面没有举出例子。所以还是不懂什么叫named type，什么叫unnamed type。 本来想跳过，以后再慢慢接触，可是另一个地方又出现这个named和 unnamed...阅读全文
RSA到底是谁加密？ RRSA加密是最常用的非对称加密方式，原理是对一极大整数做因数分解的困难性来保证安全性。通常个人保存私钥，公钥是公开的（可能同时多人持有）。 但你一定会碰到过，两个开发者争执：到底是由谁加密，谁解密？ 看完这篇文章，你就会明白这一切。 规范怎么说 我们先来看看权威库open_ssl的文档描述，它定义了四个方法 RSA_private_decrypt RSA_private_encrypt RSA_public_decrypt RSA_public_encrypt 看起来似乎私钥和公钥都可以用来进行加密解密？ 但是仔细查看 RSA_public_decrypt 和RSA_private_encrypt的描述都是：low level signature operations...阅读全文
项目上微服务，由于日志会散落在各个microservice，多主机甚至多数据中心，发现debug是非常地痛苦，同时新鲜血液的培训和沟通成本也会随之增加。因此，在思考引入分布式的trace，一方面能够更好提供debug手段，另一方面由于可以可视化调用链，因此相信新人更加能够快速入手。 我在网上google了一些分布式的trace解决方案，包括twitter的Zipkin， Uber的Jaeger以及sourcegraph的Appdash. 发现所有的工具背后原理都是参考dapper--google关于分布式trace的一篇技术报告。因此有必要对原文进行研究。 1.Dapper的原理 1.1 Trace的数据结构 Dapper的目标是提供可扩展，低开销，透明的分布式trace系统，其原理实际上非...阅读全文
{{range $k,$v :=.Names}} {{end}} 节点 名称 执行体 描述 状态 操作 {{.Name}} {{range $k1,$v1 :=$.List}}{{if eq $v.Name $v1.Node}} {{end}}{{end}} {{.Name}} {{.Exe}} {{.Desc}} {{.State}} 运行|停止 {{range .Categoryjieduan}} {{.Id}} {{.Title}} {{.Views}} {{range $.Categoryzhuanye}} {{.Title}} {{range $.Categorychengguo}} {{.Title}} {{end}} {{end}} {{end}...阅读全文
需求 公司要实现大中台战略，以往的后台都是基于传统的技术架构实现的系统。 系统在性能及扩展性上都存在有客观的局限性。 如何将传统系统的原子性服务或组合服务提供给中台是需要解决的一个问题。 概要设计 原子性的服务，通过直连数据模型，并将其转化为RESTFULL的方式来实现。 组合服务通过接口适配转换及转化为统一RESTFULL的方式来实现。 详细设计 原子性服务设计 服务列表 服务编号 服务名称 备注 模型元数据 schema/base/${MODEL_NAME} 如果${MODE_NAME}为空，则是全部信息 模型属性元数据 schema/prop/${PROP_NAME} 如果${PROP_NAME}为空，则是全部信息 模型主键元数据 schema/primary_key/${PRIMAR...阅读全文
golang 有默认打开文件描述符 数量限制...阅读全文
2008年TinEye上线了图片搜索，开始是注册制，后来逐步放开。2011年， Google也上线了相似图片搜索，通过用户上传的图片，可以搜索相似的图片。参考文档中提供了一些介绍图像搜索的一些文章， 尤其是阮一峰2011年和2013年两篇普及性的文章，可以帮助你了解图像相似搜索的原理。 图像相似性搜索应用广泛、除了使用搜索引擎搜索类似图片外，像淘宝可以让顾客直接拍照搜索类似的商品信息、应用在商品购物上。也可以应用物体识别比如拍图识花等领域。目前我在调研图片鉴权的方案，通过一张图片和图片库中的图片进行比对，来确定这张图片是否侵权，或者退一步讲，图片库中是否包含和这张图片类似。 这个需求和目前深度学习应用中的图像识别还不一样， 图像识别是需要将图像中的物体识别出来， 猫啊狗啊什么的，而我所要做的...阅读全文
为什么slice不支持==操作？书上描述的不是很清楚...阅读全文
> 在计算机科学与技术中，有两件事情最难，第一是缓存无效，第二就是给一些东西命名 —— Phil Karlton 上面的话可不是一个笑话。写代码很容易，但是阅读起来却很痛苦。你是否有想知道一个变量具体指什么或者某个包的具体含义是什么这种类似的经历？这就是为什么我们需要一些规则和约定。 不过，约定虽然能够让我们的生活变得更轻松，但是也容易被高估和滥用。设置一些合理的命名约定和规则非常重要，不过盲目的遵循它也可能带来很多弊端。 在这篇文章里面，我将介绍在[Go](https://golang.org/)中，一些重要的变量命名约定(官方的以及非官方的规则)以及在什么场景下会存在滥用的情况，特别是那些短变量命名的场景。篇幅有限，包和文件的命名以及项目结构命名有关的内容不在本文讨论范围内，他们应该可以...阅读全文
故事的起因 一次一个同事给我发了一段简单的代码，问我这段代码有什么问题？ package main import ( "fmt" "os" ) func main() { f, err := os.Open("/test.txt") if err != nil { fmt.Println(err) } fmt.Println(f.Name(), "opened successfully") } 看到这段代码后不加思索的回答，文件没有close，他说错，可能当时我们没在一个频道上，“err处理没有return”。 又仔细的看了下代码，发现err的处理代码块后使用了f.Name()，这个是存在问题的，因为当open发生错误时，返回的文件句柄则为nil，下文直接使用f.Name()。这种错误对于初...阅读全文
现象1. 压力测试时，使用syscall.Accept得到 bad file descriptor，server直接无法响应。原因1. syscall.Accept使用的fd来源是在自己代码初试化的时候通过TCPListener.FIle().Fd()直接拿到，且在自己的代码中通过int 类型保存了这个返回的系统fd，后续直接使用int 类型存储的fd值进行epoll相关操作2.事实上Golang 的实现实现中TCPListener.FIle() 返回的*os.FIle不是TCPListener原有的*os.File对象，而是dup(拷贝)一份，同时这个dup动作中会使用系统调用对于原来的系统fd也执行一次dup，进而生产一份新的额系统fd3.TCPListener.FIle().Fd() ...阅读全文
反射这个概念绝大多数语言都有，比如Java，PHP之类，golang自然也不例外，反射其实程序能够自描述和自控制的一类机制。 比如，通过PHP的反射，你可以知道一个类有什么成员，有什么方法。而golang，也能够通过官方自带的reflect包来了解各种变量类型及其信息。 下面我们通过一个例子查看反射的基本用法。 话不多说，直接贴代码： package main import ( "fmt" "reflect" ) type Order struct { ordId int customerId int callback func() } func reflectInfo(q interface{}) { t := reflect.TypeOf(q) v := reflect.ValueOf(...阅读全文
好多人都在刷leetcode，今天我也注册了一个玩玩，发现里面好多都是算法题，好吧，毕业十来年，学的那点可怜的数学知识，全都还给学校了。好了闲话少说，言归正传，让我们看看今天在里面我尝试的第一道题，有点意思， 不只是单纯的算法，还有数据和是否适合的问题。 承题 点开题库，看了第一题，我们看看这道题： 给定一个整数数组和一个目标值，找出数组中和为目标值的两个数。 你可以假设每个输入只对应一种答案，且同样的元素不能被重复利用。 示例: 给定 nums = [2, 7, 11, 15], target = 9 因为 nums[0] + nums[1] = 2 + 7 = 9 所以返回 [0, 1] 用了这么多文字描述，其实总结起来就是：数组里那两个数想加等于目标值，找出来这两个数的索引。 题是不难...阅读全文
