计时器用来定时执行任务，分享一段代码： package main import "time" import "fmt" func main() { //新建计时器，两秒以后触发，go触发计时器的方法比较特别，就是在计时器的channel中发送值 timer1 := time.NewTimer(time.Second * 2) //此处在等待channel中的信号，执行此段代码时会阻塞两秒 <-timer1.C fmt.Println("Timer 1 expired") //新建计时器，一秒后触发 timer2 := time.NewTimer(time.Second) //新开启一个线程来处理触发后的事件 go func() { //等触发时的信号 <-timer2.C fmt.Print...阅读全文
用GO语言实现一个简单的搜索引擎 项目地址是：https://github.com/wyh267/FalconEngine 对搜索引擎感兴趣的可以去看看这本书，比较浅并且也比较完整的介绍了一个搜索引擎的全部机能。 我的这个搜索引擎原始数据是MySql数据库的，大家可以根据需要进行二次开发，用来支持其他数据库或者本地文件，Detail文件是存储在Redis数据库中，同样这部分也可以根据自己的需要二次开发，使用本地文件或者其他数据库，倒排索引和正排索引本地存储的时候使用的json格式，比较耗磁盘，第一版暂时这样了吧，后续再做优化。 使用方法 依赖以下几个库 github.com/outmana/log4jzl log文件 github.com/ewangplay/config 配置文件解析 gi...阅读全文
// code_047_Timer project main.go package main import ( "fmt" "time" ) func main() { timer1 := time.NewTimer(time.Second * 2) t1 := time.Now() fmt.Printf("t1:%v\n", t1) t2 := <-timer1.C fmt.Printf("t2:%v\n", t2) //如果只是想单纯的等待的话，可以使用 time.Sleep 来实现 timer2 := time.NewTimer(time.Second * 2) <-timer2.C fmt.Println("2s后") time.Sleep(time.Second * 2) fmt....阅读全文
Go 可以借助 time.After/time.Ticker 来实现延迟/定时触发器，主要原理是借助无缓冲channel无数据时读取操作会阻塞当前协程，Go会在给定的时间后向channel中写入一些数据（当前时间），故阻塞的协程可以恢复运行，达到延迟或定时执行的功能。 延迟执行 time.After(d Duration) 好像不如直接用 time.Sleep(d Duration)舒服，但存在即合理，time.After(d Duration)的强大之处在于是基于channel的，可以在不同的协程间同步传递。 package main import ( "time" "fmt" ) func main() { fmt.Println(time.Now().Format("2006-01-0...阅读全文
波塞冬，是希腊神话中的海神，在这里是寓意着海量数据的主宰者。 Poseidon 系统是一个日志搜索平台，可以在数百万亿条、数百PB大小的日志数据中快速分析和检索特定字符串。 360公司是一个安全公司，在追踪 APT（高级持续威胁）事件时，经常需要在海量的历史日志数据中检索某些信息， 例如某个恶意样本在某个时间段内的活动情况。在 Poseidon 系统出现之前，都是写 Map/Reduce 计算任务在 Hadoop 集群中做计算， 一次任务所需的计算时间从数小时到数天不等，大大制约了 APT 事件的追踪效率。 Poseidon 系统就是为了解决这个需求，能在几秒钟内从数百万亿条规模的数据集中找出我们需要的数据，大大提高工作效率； 同时，这些数据不需要额外存储，仍然存放在Hadoop集群中，节...阅读全文
最近我在调查 Go 应用程序中内存泄漏的问题，这个问题主要因为我没有正确的阅读文档。这是一段导致消耗了多个 Gbs 内存的代码： ```go func ProcessChannelMessages(ctx context.Context, in <-chan string, idleCounter prometheus.Counter) { for { start := time.Now() select { case s, ok := <-in: if !ok { return } // handle `s` case <-time.After(5 * time.Minute): idleCounter.Inc() case <-ctx.Done(): return } } } ``` 以...阅读全文
在学习go语言时,用到了“sync”包中的WaitGourp结构,来达到控制任务的完成。 由于WaitGroup是结构，所有需要通过sync.WaitGroup{}来创建 很类似与 Shoper/JAVA并发库之倒记时锁存器CountDownLatch中的CountDownLatch类。 Add()，Done()，Wait()。其中Done()是Add(-1)的别名。简单的来说，使用Add()添加计数，Done()减掉一个计数，计数不为0, 阻塞Wait()的运行。 package main import ( "fmt" "runtime" "sync" ) func main() { runtime.GOMAXPROCS(runtime.NumCPU()) waitGourp := syn...阅读全文
从零开始，写一个搜索引擎 （0x01） 第零部分我们已经列了一个提纲了，这一篇文章开始要详细说说了。 搜索引擎基本概念 在说搜索引擎架构分层之前，我们先确定几个搜索引擎的概念。 文档，搜索引擎的基本数据单元，比如一张网页，一个商品，多个文档合在一起就是一个搜索引擎的完整数据 倒排索引，正排索引，存储在搜索引擎内部的数据结构，也是搜索引擎最底层的数据结构。 索引器，将文档数据生成可供搜索的倒排索引和正排索引的程序就是索引器。 检索器，通过对倒排索引和正排索引进行查找，从而查找到文档的程序。 字段，每个文档可能有多个字段，比如一篇文章有标题，作者，摘要，详情，发布时间的，这些东西虽然在一个文档中，但是搜索的时候需要区别对待。 索引，多个文档通过索引器生成了一堆倒排正排索引，我们把这些倒排正排索引...阅读全文
这一篇，我们来说说搜索引擎最核心的技术，倒排索引技术，倒排索引可能需要分成几篇文章才说得完，我们先会说说倒排索引的技术原理，然后会讲讲怎么用一些数据结构和算法来实现一个倒排索引，然后会说一个索引器怎么通过文档来生成一个倒排索引。 倒排索引 什么是倒排索引呢？索引我们都知道，就是为了能更快的找到文档的数据结构，比如给文档编个号，那么通过这个号就可以很快的找到某一篇文档，而倒排索引不是根据文档编号，而是通过文档中的某些个词而找到文档的索引结构。 倒排索引技术简单，高效，简直是为搜索引擎这种东西量身定做的，就是靠这个技术，实现一个搜索引擎才成为可能，我们也才能在海量的文章中通过一个关键词找到我们想要的内容。 我们看个例子，有下面的几个文档： 文档编号 文档内容 1 这是一个Go语言实现的搜索引擎 ...阅读全文
上面我们已经说过了一些倒排索引的东西，并且也知道了如何来实现一个倒排索引完成检索功能，那么检索完了以后如何排序呢，这一篇简单的说一下倒排索引的文本相关性排序，因为排序实在是太复杂了，我们这里就说说文本的相关性排序，而且是最简单的TD-IDF排序，之后有机会可以再说说整个搜索的排序算法有些什么。 文本相关性排序 首先明白几个概念： Term，分词以后最小的单位，比如用Golang写一个搜索引擎，分词以后就是用，golang，写，一个，搜索引擎，那么每一个词就是一个Term。 TF(Term Frequency)，Term在文章中出现的频率，就是当前term在文章中出现的频率，就是term次数/总term数，比如上文中的搜索引擎这个term的TF就是1/5，TF越高那么这篇文章中的这个词就越重要...阅读全文
Interface golang技术随笔（一）深入理解interface - justaipanda的专栏 - 博客频道 - CSDN.NET research!rsc: Go Data Structures: Interfaces Time Go time.Tick vs time.NewTicker - Stack Overflow time - GoDoc golang:使用timingwheel进行大量ticker的优化 Go语言中Time的用法[1] 14.5 通道、超时和计时器（Ticker） - Go 入门指南 - 极客学院Wik...阅读全文
Go语言的标准库里提供两种类型的计时器Timer和Ticker。Timer经过指定的duration时间后被触发，往自己的时间channel发送当前时间，此后Timer不再计时。Ticker则是每隔duration时间都会把当前时间点发送给自己的时间channel，利用计时器的时间channel可以实现很多与计时相关的功能。 文章主要涉及如下内容： Timer和Ticker计时器的内部结构表示 Timer和Ticker的使用方法和注意事项 如何正确Reset定时器 计时器的内部表示 两种计时器都是基于Go语言的运行时计时器runtime.timer实现的，rumtime.timer的结构体表示如下： type timer struct { pp puintptr when int64 per...阅读全文
F:./src └─hello hello.go hello_test.go hello.go ========= package hello import "fmt" func Add(a, b int) (result int) { return a + b } func main() { fmt.Println("Hello, world. 你好，世界！") c := Add(1, 2) fmt.Println("c=", c) } hello_test.go package hello import ( "fmt" "testing" "time" ) func TestAdd1(t *testing.T) { fmt.Println("进行Add测试") r := Add(1, 2...阅读全文
很早就想写一系列的这样的文章了，之前在一个电商公司做搜索，对搜索引擎有一些认识，来到一个新的创业公司以后非常高兴还有机会继续做这方面的事情，虽然领域已经变了，而且不是做搜索了，但是技术还是那些技术，并且有机会接触到了Go语言，对于一个将近10年C/C++的程序员来说，Go的一些特质让我觉得非常舒服，可参见我之前的这篇文章。 从公司项目衍生出了一个自己的搜索引擎项目，然后有了这篇文章。 先聊聊目标吧，我希望实现一个这样的搜索引擎 使用Go语言实现，方便部署，最好就用一个二进制文件搞定一些，不需要安装任何依赖。 类似一个电商的搜索引擎，支持多字段的检索，不仅仅是文本的全文索引，还需要包括过滤功能（比如价格区间过滤），汇总功能（比如结果集中品牌数量汇总），基本的统计功能。 索引器和搜索器在一起，主...阅读全文
最近各种技术盛会太多，朋友圈各种刷屏，有厂商发的各种广告，有讲师发的各种自拍，各种参会的朋友们各种自拍，好不热闹，不知道你的朋友圈是不是也是这样啊，去年还没这么多技术会议，今年感觉爆发了，呵呵，真是一个互联网技术的好时代，而且还有各种撕B可看，真想八一八，怕得罪人，我们这种码农还是专注技术专注写代码吧。 你有什么想了解的也可以给我留言哈，欢迎交流，我的工作之前主要做的是搜索的，也做推荐和广告，这部分的东西可能写得多点，对了，嵌入式领域也行（跨得有点大，这个嵌入式不是iOS和Android，是真的嵌入式），没什么高端背景，也不是BAT这种大厂的，就是一小公司写代码的，所以有很多东西还是不懂，你要是和我交流了发现我答不上来很正常啊，人艰不拆啊。。 本篇也比较长，但是干货不多，建议上厕所的时候看，...阅读全文
饿了么对时序数据库的需求主要来自各监控系统，主要用于存储监控指标。原来使用graphite，后来慢慢有对指标有多维的需求(主要体现在对一个指标加多个Tag， 来组成Series，然后对Tag进行Filter和Group进行计算)，这时graphite基本很难满足需求。 业界现在用的比较多的主要有如下几类TSDB： 免费获取学习Java高架构、分布式架构、高可扩展、高性能、高并发、性能优化、Spring boot、Redis、ActiveMQ、Nginx、Mycat、Netty、Jvm大型分布式项目实战学习架构师视频免费获取 架构群：863621962 InfluxDB：很多公司都在用，包括饿了么有部分监控系统也是用InfluxDB。优点，支持多维和多字段，存储也根据TSDB的特点做了优化。但...阅读全文
这一篇算给这一个系列告一个小的段落，之前开始写这些文章的时候，只是想把自己最近用Golang写的这个搜索引擎说一说，准备了大概3，4篇的量，但是一写下来，发现有点收不住，写到后面其实和Golang没什么关系了，主要在写搜索引擎的架构和一些数据结构了，我觉得这比写代码注释有用吧，而且通过这样写下来，我自己对这些个数据结构的理解也更深了。 一个月的时间，写了14篇了，虽然14篇文字不足以说明一个搜索引擎的实现，但我觉得基本上一些重要的东西我都说了，搜索引擎本身原理上其实比较简单，并且我们并没有涉及搜索引擎爬虫的部分，所以说起来并不是很复杂，复杂是复杂在外围一些算法上的东西，比如分词，比如排序之类的。 来看看我们都说了些啥 开了个头以后，先说了一下搜索引擎的基本概念，包括docid的概念，以及整个...阅读全文
处理海量数据是大数据工程师必备技能，通过对PB级别的数据进行挖掘与分析发掘出有价值的信息，为企业或政府做出正确决策提供依据，是十分必要的一项工作，以下是常用的海量数据处理方法！ **1. Bloom filter** Bloom filter是一种二进制向量数据结构，具有很好的空间效率和时间效率，可用来检测一个元素是否属于一个集合。该方法的优点是它的插入和查询时间都是常数，并且它查询元素却不保存元素本身，因此，具有良好的安全性，但因其算法的原因，其正确率稍低，可以确定不存在数据一定不存在，确定存在的数据不一定存在，适合对低错误率可以容忍的场合。 **2. Hash** Hash即散列函数，其是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数，根据处理需求的不同，...阅读全文
本篇较长较枯燥，请保持耐心看完。 前面两章介绍了一下倒排索引以及倒排索引字典的两种存储结构，分别是跳跃表和哈希表，本篇我们介绍另一种数据结构，他也被大量使用在信息检索领域，我在github上实现的搜索引擎的词典也是用的这个数据结构，它就是B+树。 首先，我们看看什么是树，树是程序设计中一个非常基础的数据结构，记得大学时候的数据结构课，链表，栈，队列，然后就是树了，虽然那时候想必大家都被前序遍历，中序遍历，后序遍历折腾过，不过树确实是一种非常有用的数据结构。 上一篇我们说过，表2的第一列首要解决的问题就是能快速找到对应的词，然后找到对应词的倒排列表，除了跳跃表和哈希表，B+树也能满足条件，B+树是B树的变种，我们B树我们就不看了，感兴趣的大家可以直接去google一下，我们主要讲的是B+树，下...阅读全文
不知不觉写到第七篇了，按这个节奏，估计得写到15到20篇左右才能写完，希望自己能坚持下去，之前写代码的时候很多东西并没有想得那么细致，现在每写一篇文章还要查一些资料，确保文章的准确性，也相当于自己复习了一下吧，呵呵。 先说一下，关于倒排文件，其实还有很多东西没有讲，到后面再统一补充一下吧，主要是倒排文件的压缩技术，这一部分因为目前的存储空间不管是硬盘还是内存都是很大的，所以压缩技术用得不是很多了。 今天我们来讲讲倒排索引的构建。 之前，我们了解到了，倒排索引在系统中是存成下图这个样子 上面的B+树是一个文件，下面的倒排链是一个文件，那么，如何来构建这两个文件呢，本章我会说说一般的常规构建方法，然后说一下我是怎么构建的。 一般情况下，搜索引擎默认会认为索引是不会有太大的变化的，所以把索引分为全...阅读全文
需求如下： 1. 一个竞价场次同时支持多个竞价条目，针对单个竞价条目进行报价 2. 一个竞价场次有总倒计时，每个竞价条目单独计算倒计时，竞价场次开始时所有倒计时数字一致 3. 用户针对单个竞价条目发起报价时，如果当前竞价条目倒计时时间 < N 时，会自动顺延 N 秒，同时总倒计时顺延 N 秒 4. 单个竞价条目倒计时结束后，最后报价者即中标，所有竞价调剂倒计时都结束后，同时竞价场次结...阅读全文
正如我在[上一篇文章](https://studygolang.com/articles/19394) 中所述，准确使用计时器很难的，所以这里进行一些说明。 ## 前言 如果你认为结合 Goroutines 去处理时间和计数器很简单的话，那你就错了，这里有提到的一些与 time.Timer 相关的问题或 bug： * [time: Timer.Reset is not possible to use correctly #14038](https://github.com/golang/go/issues/14038) * [time: Timer.C can still trigger even after Timer.Reset is called #11513](https://git...阅读全文
我觉得这个标题应该改改了，我写下来其实是告诉大家怎么写一个搜索引擎，并没有涉及太多的Golang的东西，我觉得这样也挺好，熟悉了原理，用什么实现其实并不重要了，而且说说原理比说代码更实在。 之前已经说了底层的数据结构了，包括倒排和正排索引。今天我们上一层，来说说索引的字段和段。 字段这个上一篇已经介绍过了，字段的概念实际上是搜索引擎索引中我们能看到的最底层的东西，也是对外暴露的最底层的概念，在字段之下是倒排和正排索引，这两项其实对用户是封装起来了，我们可以认为每个字段对应一个正排和一个倒排，而实际上也确实是这样的。 在字段之上就是我们这一篇主要说的段了，段这个概念并不是搜索引擎特有的，也不是必须的，是我这个项目新增出来的，当然，也不是我原创，很多搜索引擎的引擎系统都有这个概念。 所谓段，就是...阅读全文
特别说明 这是一个由simviso团队所组织进行的基于mit分布式系统课程翻译的系列，由知秋带领和其他成员一起翻译的课程以及课程当中涉及的论文翻译。本文章参与人员 参与人员 参与范围 知秋 审校 虚生花 翻译 概要 MapReduce是一种编程模型，它是一种用于处理和生成大型数据集的实现。用户通过指定一个用来处理键值对(Key/Value)的map函数来生成一个中间键值对集合。然后，再指定一个reduce函数， 它用来合并所有的具有相同中间key的中间value 。现实生活中有许多任务可以通过该模型进行表达，具体案例会在论文中展现出来。 以这种函数式风格编写的程序能够在一个大型商用机器集群上自动并行执行。这个系统在运行时只关心：如何分割输入数据，在大量计算机所组成的集群上的调度问题，集群中计...阅读全文
TSI文件结构概览 一个TSI文件的定义和操作在 tsdb/index/tsi1/index_file.go里实现的 一个TSI文件的结尾存储了这个文件相关的meta信息，主要是其他section在文件中的offset和size,这个meta信息被称为tsi文件的IndexFileTrailer，我们看一下它的Size的定义： IndexFileTrailerSize = IndexFileVersionSize + 8 + 8 + // measurement block offset + size 8 + 8 + // series id set offset + size 8 + 8 + // tombstone series id set offset + size 8 + 8 + ...阅读全文
Go语言的标准库里提供两种类型的计时器Timer和Ticker。Timer经过指定的duration时间后被触发，往自己的时间channel发送当前时间，此后Timer不再计时。Ticker则是每隔duration时间都会把当前时间点发送给自己的时间channel，利用计时器的时间channel可以实现很多与计时相关的功能。 文章主要涉及如下内容： Timer和Ticker计时器的内部结构表示 Timer和Ticker的使用方法和注意事项 如何正确Reset定时器 计时器的内部表示 两种计时器都是基于Go语言的运行时计时器runtime.timer实现的，rumtime.timer的结构体表示如下： type timer struct { pp puintptr when int64 per...阅读全文
