mysql 作为成熟稳定的数据持久化解决方案，广泛地应用在各种领域，但是在数据分析、全文检索方面稍有不足，而 elasticsearch 作为数据分析领域的佼佼者，刚好可以弥补这项不足，而我们要做的只需要将 mysql 中的数据同步到 elasticsearch 中即可，今天介绍使用logstash将mysql数据全量导出到es，使用go-mysql-elasticsearch将mysql实时同步到es。 添加mysql测试数据 SET NAMES utf8; SET FOREIGN_KEY_CHECKS = 0; -- ---------------------------- -- Table structure for `movies` -- ----------------------...阅读全文
当我们编写的go代码依赖特定平台或者cpu架构的时候，我们需要给出不同的实现 C语言有预处理器，可以通过宏或者#define包含特定平台指定的代码进行编译 但是Go没有预处理器，他是通过 go/build包 里定义的tags和命名约定来让Go的包可以管理不同平台的代码 这篇文章将讲述Go的条件编译系统是如何实现的，并且通过实例来说明如何使用 1. 预备知识：go list命令的使用 在讲条件编译之前需要了解go list的简单用法 go list访问源文件里那些能够影响编译进程内部的数据结构 go list与go build ,test,install大部分的参数相同，但是go list不会执行编译操作。使用-f参数可以让我们提供的text/template里的代码在包含go/build.P...阅读全文
今日用go来做字符的“+”连接操作，每次连接的字符串大致有10M左右，循环连接100次，直接导致go内存溢出了。 // Text project main.go package main import ( "io/ioutil" "log" "os" ) func main() { log.Println("开始") userFile := "D:\\txt\\2.txt" //读文件 readbuf, _ := ioutil.ReadFile(userFile) //文字数据处理 log.Println("开始处理数据") strcontent := string(readbuf) for i := 0; i < 100; i++ { strcontent += strcontent + ...阅读全文
Command godep helps build packages reproducibly by fixing their dependencies. 通过配置文件(json)形式来导入依赖...阅读全文
摘要 Go语言是谷歌2009发布的第二款开源编程语言。Go语言专门针对多处理器系统应用程序的编程进行了优化，使用Go编译的程序可以媲美C或C++代码的速度，而且更加安全、支持并行进程。 Go语言-简介 Go语言是谷歌推出的一种全新的编程语言，可以在不损失应用程序性能的情况下降低代码的复杂性。谷歌首席软件工程师罗布派克(Rob Pike)说：我们之所以开发Go，是因为过去10多年间软件开发的难度令人沮丧。 Go是谷歌2009发布的第二款编程语言.2009年7月份,谷歌曾发布了Simple语言,它是用来开发Android应用的一种BASIC语言. 北京时间2010年1月10日，Go语言摘得了TIOBE公布的2009年年度大奖。该奖项授予在2009年市场份额增长最多的编程语言。 谷歌资深软件工 程...阅读全文
golang(中文名：go语言)是谷歌2009发布的第二款开源编程语言。Go语言专门针对多处理器系统应用程序的编程进行了优化，使用Go编译的程序可以媲美C或C++代码的速度，而且更加安全、支持并行进程。 golang的安装在ubuntu上其实很简单 sudo add-apt-repository ppa:gophers/go sudo apt-get update sudo apt-get install golang 如果你喜欢手工安装，请查看 golang编译器安装与配...阅读全文
http://code.google.com/p/gomingw/downloads/list 下載 安裝包，安裝 安裝完畢后會自建path環境 在代碼目錄建一個批處理文件，專門用來編譯生成EXE文件 set file=%1 set f8=%file:.go=.8% set fexe=%file:.go=.exe% 8g -o %f8% %file% && 8l -o %fexe% %f8% 寫完代碼后，拖動go文件到這個批處理上，就可以自動生成...阅读全文
Nomad 是一个集群管理器和调度器，专为微服务和批量处理工作流设计。Nomad 是分布式，高可用，可扩展到跨数据中心和区域的数千个节点。 Nomad 提供一个常规工作流跨基础设施部署应用。开发者使用一个声明式作业规范来定义应用该如何部署，资源有什么要求（CPU，内存，硬盘）。Nomad 接收这些作业，查找可用的资源来运行应用。调度算法确保所有的约束都满足，尽量在一个主机部署尽可能多的应用，优化资源利用。此外，Nomad 支持在所有主流操作系统运行虚拟化，容器化或者是独立的应用，灵活的支持广泛的工作流负载。 Nomad 已经在生产环境使用，主要特性： * **Docker**：Nomad 支持 Docker 作为第一类的工作负载类型 * **操作简单** * **多个数据中心和多...阅读全文
這裡介紹一個控制golang併發數量的包gowork，當然都是可以自己實現的，只是每次去實現比較麻煩罷了。 如果只是啟一個goroutine那就沒有必要使用，當然這個包也是支持的。 實現原理： 用戶告知要啟用的併發數量，然後包內會啟動相當於併發數量的一個工作池。這樣之後程序猿只要往工作池裡面發任務就可以了。 當然你需要的是實現你的worker。原型： type WorkFunction func(req interface{}, res interface{}) 還可以實現異常處理的函數，原型和worker一樣，同時在使用的時候gowork會自動將任務參數req對應的傳給異常處理函數，你需要做的是通過req獲取異常處理結果，當然你也可以不要這些結果。 使用： 控制同時併發數量為5，new一個...阅读全文
发现给struct结构体定义一个方法，然后用它的实例对象调用这个方法，在这个方法中改变这个对象的属性，，，但是在下文的代码中使用这个对象时发现改变没有生效，，，，郁闷了，，，于是只好在这个方法中添加了个这个struct类型返回值，，，这样也叫面向对象吗？ 图1：方法定义  图2：调用  如果不给返回，对象在调用方法前后是一样的，就是等于没调用方法，，那...阅读全文
pipeline := []bson.M{ bson.M{"$match": bson.M{"id": uid}}, bson.M{"$project": bson.M{"last_msg": 1, "_id": 0}}, bson.M{"$unwind": "$last_msg"}, bson.M{"$sort": bson.M{"last_msg": -1}}, bson.M{"$skip": 2}, bson.M{"$limit": 2}, } userModel := MongoDb.C("user") pipe := userModel.Pipe(pipeline) var data []interface{} err := pipe.All(&data) fmt.Println(...阅读全文
func rmWaterMark(inputPath, outputPath string) error { f, err := os.Open(inputPath) if err != nil { return err } defer f.Close() //common.SetLogger(common.ConsoleLogger{LogLevel: 5}) pdfWriter := pdf.NewPdfWriter() pdfReader, err := pdf.NewPdfReaderLazy(f) if err != nil { return err } fileExt := filepath.Ext(f.Name()) fileName := strings.TrimSuffix...阅读全文
package main import ( "fmt" "os" ) type Student struct{ id int name string age int classroom int dorm int } var students []*Student type ManageStudent struct{} func (m *ManageStudent) AddStudent(s *Student){ students = append(students, s) fmt.Println("add success") } func (m *ManageStudent) DelStudent(id int){ var is_find = false for index, student...阅读全文
