导语迅猛发展的互联网将我们带入了大数据时代，大数据已经成为发展中不可或缺的力量支撑，大数据挑战和机遇并存，如何更好合理、灵活应用大数据是企业的关注所在。七牛大数据团队研发工程师孙健波为大家带来题为Go 在大数据开发中的实战经验的技术分享。以下是此次演讲内容整理。作者介绍：孙健波，InfoQ 专栏作者，硕士毕业于浙江大学计算机学院，2015 年底加入七牛，参与并负责七牛大数据平台整条链路多模块的架构设计以及开发工作，包括大数据计算引擎、时序数据库服务以及日志检索服务。在此之前主要研究和参与 Cloudfoundry、Kubernetes、Docker 等容器与容器云相关工作，是《Docker 容器与容器云》一书的主要作者之一。大数据图 1如图 1 可以看到，现在大数据的生态相对来说比较成熟了，...阅读全文
摘要： 在3月28日举行的2018云栖大会-深圳峰会上，阿里云与金山办公达成深度合作，WPS在线预览与格式转换能力落地阿里云。标志着阿里云存储开放的数据湖体系不但面向计算引擎，还面向应用开放。 在3月28日举行的2018云栖大会-深圳峰会上，阿里云与金山办公达成深度合作，WPS在线预览与格式转换能力落地阿里云。 当前整个企业级数据管理市场面临着数字化转型，如何更好的管理数据、挖掘非结构化数据（专业文档、视频、图像等）的价值是当前企业需要解决的问题。阿里云作为驱动数字中国的核心力量，正与更多的合作伙伴一起来解决这些问题。  域名不太好，凑合着用呗。（之前其实是准备用来做美甲图片站的，后来搁置了。因为老婆在家真的是没有时间去经营这种东西）。 既然说做就做，先利其器嘛， 把落灰的GO再捡起来，顺便学习了一下七牛云存储的API（不得不说真的是很受用），写了一个spider（gocrawl/...阅读全文
#公司介绍 北京百泉众合数据科技有限公司，即LogInsight，成立于2015年，是中国 ITOA(IT运维分析)市场的一支生力军，并立志成为中国 ITOA 领域的领头羊。 机器数据，即由计算机，应用或者其他机器在无人工干预下产生的数据。机器数据是增长最快、最复杂也最富含价值的大数据中的一种， 大数据中，90%的数据是机器数据 。LogInsight，致力于开发机器数据\日志的分析平台，期望帮助广大的企业及开发者，实现机器数据价值的洞察，并转变为业务创新及竞争优势。 LogInsight 核心技术团队主要来自国内外顶尖的互联网公司，在的大数据，搜索引擎，日志分析领域有着非常丰富的技术积累，拥有世界级的搜索引擎实现技术。 #核心技术团队简介 **李沫南：** C...阅读全文
毕升文档| 多人协同编辑 | 在线Office| onlyOffice 毕升文档在线文件服务部分的Office在线编辑预览使用优秀的开源项目onlyOffice，并且根据毕升文档的优化要求做了相应的调整。相对于原来的onlyOffice，毕升文档的在线Office部分主要区别有： 抛弃了only Office的原来的UI，整体UI重新设计实现 抛弃了原来only Office开源部分的服务器实现，使用golang 和node js重新了实现Office在线编辑时的服务器逻辑以适应毕升文档分布式部署以及毕升文档在线文件服务整体设计的要求。 文件的底层存储也抛弃了原来only Office的方案，按照毕升文档在线文件服务的设计，全部采用s3 api的存储。 本地部署时可以使用minio来实现s3...阅读全文
全文检索领域，Elasticsearch 应该是当之无愧的大佬了，当对与一些小的项目来说还是过于厚重了，不想用 Elasticsearch。只好搜寻其他能用的项目。目前自己的网站正好用 golang 来重后台，搜寻一下 go 语言有哪些可以用的开源项目，刚好看到一篇文章。转载记录一下。 先安利一个 Go 语言开发的搜索引擎 bleve，目前看来这应该是 Go 语言开发的搜索引擎里面最有潜力，或者说最不像玩具的搜索引擎。 简单试用了一下体验还可以，并试探性的提了一个关于打版本标签的 issue ，作者的回复响应速度也很快。 网上搜的资料上显示 bleve 是由 CouchBase 团队打造出来的。 但是我比较不理解的是为什么看了一下代码提交的commit ，主要都是由作者一个人提交的代码。 这...阅读全文
承接前文Caprice: Golang版的高性能实时全文检索引擎(实现篇)，本文是系列文章的第四篇。系列文章地址如下:一. 如何构建实时全文检索引擎二. Caprice: Golang版的高性能实时全文检索引擎三. Caprice: Golang版的高性能实时全文检索引擎(实现篇)本篇主要介绍segment的设计。我们知道FST被认为是构建高效的倒排索引的核心，但它的缺点是修改不易，因此为了克服这个问题，包括lucene在内的检索引擎，在使用FST的时候几乎都选择了segment这个概念去处理这个问题。将一段时间内的document集中起来处理，生成FST，同时利用LSM的设计思想，避免直接update和delete，但是代价就是索引并不能实时可见，不过好在很多使用全文检索的场景对实时性要求...阅读全文
自从上篇总结了一下Go 编程： 交叉编译 vs 条件编译之后，觉得有必要对于类似条件编译标签此类的特殊注释做一次简单收集。 1. 常规注释 每种开发语言都有自己的注释语法和格式，也大多类似。 Go 语言和市面上其它多种高级语言的注释语法也类似，主要有以下两种语法格式: 注释行 以符合 // 开头 注释块 以符号 /* 注释内容 */ 包括 通常情况下， 对外公开的包、函数、常量、变量均需要进行注释。代码是否注释完全，可以通过lint工具进行审查。不了解的话，可以参考像 Awesome-Go 一样提升企业 Go 项目代码质量一文。 但是，以上也就仅仅是正常情况。在很多特殊情况下，一些看似符合以上注释语法的地方，却不是注释，也是本文整理的重点。 2. “奇怪”的注释 2.1 条件编译 在一些特殊...阅读全文
现在项目中要实现 mongo中文全文检索 在网上看到可以用mongo-connector连接elasticsearch 实时同步mango的数据 然后 怎么用golang调用es 有没有好的库可以推荐 或者mongo连接es的教...阅读全文
视频教程 《PostgreSQL从入门到精通》免费视频课程：PostgreSQL数据库从入门到精通（点击学习） 阿里云高级技术专家、PostgreSQL中国用户会创始人之一 周正中（德哥）主讲 关于PostgreSQL PostgreSQL被誉为“世界上功能最强大的开源数据库”，是以加州大学伯克利分校计算机系开发的POSTGRES 4.2为基础的对象关系型数据库管理系统。 PostgreSQL支持大部分 SQL标准并且提供了许多其他现代特性：复杂查询、外键、触发器、视图、事务完整性、MVCC。同样，PostgreSQL 可以用许多方法扩展，比如，通过增加新的数据类型、函数、操作符、聚集函数、索引。 开发者可以免费使用、修改和分发 PostgreSQL，不...阅读全文
map[key] 可以获取到value的引用,但是这个引用如何记录呢? 比如我的value有100个成员变量 map[key].value1 = a map[key].value2 = b map[key].value3 = c ... 这样写下去不是要有100次检索的过程么.这不科学啊. point := &map[key] point .value1 = a point .value2 = b point .value3 = c ... 这样写不是更科学么.但是编译器提示我不支持&.请问我该怎么作呢...阅读全文
#### 源码--GitHub：< ahref="https://github.com/af913337456/ErrorDocAutoPrinter">https://github.com/af913337456/ErrorDocAutoPrinter 如果你是一个`后端Server程序`开发人员。你应该知道，在你写完`API`之后，是需要给`客户端`的同学提供`调用`文档的。 例如下面一个`api handler`，`创建一个用户`。 ```golang func HandleCreateUser(w http.ResponseWriter,r *http.Request) map[string]interface{} { if r.Body ==...阅读全文
开源分布式搜索分析引擎, 基于Java语言开发, 采用Lucene内库构建 近实时 分布式存储, 搜索, 分析引擎 特性 支持分布式, 可水平扩展, 集群规模可以单个扩展到数百个节点 降低全文检索的学习曲线 可以被任何编程语言调用 生态圈 ELK 日志套件(Elasticsearch, Logstash, Kibana) Logstash 数据处理管道, 支持从不同来源采集数据, 转换数据, 并将数据发送到不同的存储库中. Kibana 可视化分析利器,帮助用户解开对数据的任何可疑问题 Beats是轻量的数据采集器.基于golang开发 Elasticsearch的应用 搜索 日志管理 指标分析 安全分...阅读全文
