Logkit 通用的日志收集工具 Logkit

logkit是七牛Pandora开发的一个通用的日志收集工具,可以将不同数据源的数据方便的发送到Pandora进行数据分析,除了基本的数据发送功能,logkit还有容错、并发、监控、删除等功能。 logkit详细的文档可以参见[WIKI](https://github.com/qiniu/logkit/wiki)页面。 **支持的数据源** 文件(包括csv格式的文件,kafka-rest日志文件,nginx日志文件等,并支持以[grok](https://www.elastic.co/b...阅读全文

2017-11-21 11:00:36 网友

Puffs 安全地解析不受信任的文件格式 Puffs

Puffs,全名为 Parsing Untrusted File Formats Safely ,是 Google 开源的一个用于特定领域的语言和库,可安全地解析不受信任的文件格式,包括图像、音频、视频、字体和压缩档案等。 与 C 语言不同,Puffs 对于缓冲区溢出、整数算术溢出和空指针解引用是非常安全的。Puff 和其他内存安全语言之间的主要区别在于,所有这些检查都是在编译时完成的,而不是在运行时完成的。 Puffs 旨在像 Go 或 Rust 一样生成安全的软件库,同时能像 C 一样快...阅读全文

2017-11-17 19:00:39 网友

gse Go 语言高效分词 gse

Go 语言高效分词, 支持英文、中文、日文等 [词典](https://github.com/go-ego/gse/blob/master/dictionary.go)用双数组trie(Double-Array Trie)实现, [分词器](https://github.com/go-ego/gse/blob/master/segmenter.go)算法为基于词频的最短路径加动态规划。 支持普通和搜索引擎两种分词模式,支持用户词典、词性标注,可运行[JSON RPC服务](https://g...阅读全文

2017-11-17 09:00:04 vway

Beats 轻量型数据采集器 Beats

Beats 是一款轻量级的数据采集器,采用 Go 语言编写。它集合了多种单一用途数据采集器。这些采集器安装后可用作轻量型代理,从成百上千或成千上万台机器向 [Logstash](https://www.oschina.net/p/logstash) 或 [Elasticsearch](https://www.oschina.net/p/elasticsearch) 发送数据。 轻量 —— Beats 是数据采集的得力工具。将这些采集器安装在你的服务器中,它们就会把数据汇总到 Elastic...阅读全文

2017-11-15 12:00:08 网友

gops 列出和诊断系统上运行的Go进程的工具 gops

gops 是列出和诊断当前在您的系统上运行的 Go 进程的命令。 对于启动诊断代理的进程,gops 可以报告其他信息,例如当前堆栈跟踪,Go 版本,内存统计信息等。 为了启动诊断代理,请参阅[hello示例](https://github.com/google/gops/blob/master/examples/hello/main.go)。阅读全文

2017-11-06 18:00:02 网友

FastRouter Web FastRouter

# FastRouter FastRouter is a fast, flexible HTTP router written in Go. FastRouter contains some customizable options, such as `TrailingSlashesPolicy`, `PanicHandler`, `OptionsHandler`, `MethodNotAllowedHandler`, `NotFoundHandler` and so on. ...阅读全文

2017-11-01 18:33:24

go-excel Excel Reader go-excel

# Intro | 简介 Expect to create a reader library to read relate-db-like excel easily. Just like read a config. > This library can read all xlsx file correctly from our project now. ```shell go get github.com/szyhf/go-excel ``` ## Example...阅读全文

2017-11-01 09:18:35

Vuls Linux 平台下的漏洞扫描器 Vuls

Vuls 是一款适用于 Linux / FreeBSD 的漏洞扫描程序,无代理,采用 golang 编写。 对于系统管理员来说,每天必须执行安全漏洞分析和软件更新都是一个负担。为避免生产环境宕机,系统管理员通常选择不使用软件包管理器提供的自动更新选项,而是手动执行更新。这会导致以下问题: 系统管理员必须不断注意NVD(National Vulnerability Database)或类似数据库中的新漏洞。 如果服务器中安装了大量软件,系统管理员可能无法监视所有软件。 执行分析以确定受...阅读全文

2017-10-29 09:00:08 网友

manssh 命令行工具-轻松管理ssh连接配置 manssh

### manssh - 基于Go的ssh config命令行管理器,帮助你方便ssh连接配置 ## 功能特性 * 快速的管理ssh连接别名配置. (添加,删除,查询,更新,备份) * 快速执行远程命令. (支持交互式) ## 项目地址 [https://github.com/xwjdsh/manssh/](https://github.com/xwjdsh/manssh/) ## 安装方式 ### Homebrew安装 ```shell brew tap xwjd...阅读全文

2017-10-25 21:05:21 Wendell

Notary 控制数据权限的 Docker 项目 Notary

公证项目包括服务器和客户端,用于运行和与受信任的集合进行交互。 有关详细信息,请参阅[服务体系结构文档](https://github.com/docker/notary/blob/master/docs/service_architecture.md)。 公证人的目标是使互联网更加安全,方便人们发布和验证内容。 我们经常依靠TLS来保护与内部存在缺陷的Web服务器的通信,因为服务器的任何妥协都可以使恶意内容替代合法内容。 使用公证人,发布商可以使用高度安全的密钥离线签名内容。 一旦发布商准...阅读全文

2017-10-25 20:00:16 网友

nuclio 无服务器实时事件和数据处理 nuclio

nuclio 是一个新的 Serverless 项目,用于高性能事件和数据处理。 nuclio 是可扩展的,使用模块化和分层方法以支持各种各样的事件和数据源。你可以使用 nuclio 作为独立的二进制文件(例如,用于 IoT 设备),将其打包到 Docker 容器中,或将其与诸如 Kubernetes 等容器协调器集成。 nuclio 非常快。单功能实例可以每秒处理数十万个 HTTP 请求或数据记录。 比其他一些框架快 10-100 倍,具体可查看其[工作原理](https://gi...阅读全文

2017-10-23 21:00:05 网友

RiotSearch 分布式全文搜索引擎 RiotSearch

riot 分布式全文搜索引擎, 采用 Go 语言开发。功能特性: 高效索引和搜索(1M条微博500M数据28秒索引完,1.65毫秒搜索响应时间,19K搜索QPS) 支持中文分词(使用gse分词包并发分词,速度27MB/秒) 支持逻辑搜索 支持中文转拼音搜索 支持计算关键词在文本中的紧邻距离(token proximity) 支持计算BM25相关度 支持自定义评分字段和评分规则 支持在线添加、删除索引 支持多种持久存储 支持分布式索引和搜索 可实现分布式索引和搜索 采用对商...阅读全文

2017-10-22 02:00:04 网友

yispider Go开发的分布式爬虫框架 yispider

yispider 是一款分布式爬虫平台,帮助你更好的管理和开发爬虫。 内置一套爬虫定义规则(模版),可使用模版快速定义爬虫,也可当作框架手动开发爬虫 码云地址:https://gitee.com/bilibala/YiSpider github地址:https://github.com/2young2simple/yispider ## 架构 目前框架分为2个部分: #### 1.爬虫部分(spider节点): 内部结构参考python scrapy...阅读全文

2017-10-20 20:12:33 2young2simple

dataux 集成多种 NOSQL 方案的统一 SQL 代理中间件 dataux

集成多种 NOSQL 方案的统一 SQL 代理中间件 Sql查询代理到 Elasticsearch,Mongo,Kubernetes,BigTable等 将不同的数据源和文件统一到数据的单一联合视图中,并使用SQL进行查询,且无需复制到数据仓库中。 Mysql兼容联合查询引擎到Elasticsearch,Mongo,Google Datastore,Cassandra,Google BigTable,Kubernetes,基于文件的资源。这个查询引擎托管一个 mysql 协议侦听器,它...阅读全文

2017-10-20 12:00:06 网友

skm 命令行工具 skm

![](https://raw.githubusercontent.com/TimothyYe/skm/master/snapshots/skm.png) SKM - 基于Go的SSH key命令行管理器,帮助你方便的管理所有的SSH key ## 功能特性 * 创建,显示与删除SSH密钥对 * 通过别名方便的管理SSH密钥对 * 支持通过use命令,指定默认使用的SSH密钥对 * 方便的备份与恢复所有的SSH密钥对 ## 项目地址 https://github....阅读全文

2017-10-17 16:10:00

wmq 使用 Go 基于 RabbitMQ 实现的消息中间件 wmq

WMQ是用golang基于RabbitMQ实现的消息中间件,在系统架构对解耦现有业务起到至关重要的作用,服务基于HTTP的API方式具有跨语言的特点,接入十分简单.能够很好的解决并发控制,异步任务,以及消息订阅与分发.工作原理架构图如下: ![image](https://static.oschina.net/uploads/space/2017/1017/110028_7bml_3703517.png) 特点: 跨语言,基于HTTP协议. 高性能,测试环境下消息生产速率达到3000...阅读全文

2017-10-17 12:00:03 网友

wmq-admin 对 WMQ 服务的统一操作管理 wmq-admin

根据 WMQ 服务提供的后台管理系统 实现了对WMQ 服务的用户,节点,消息,消费,日志的统一操作管理  消息管理 ![image](https://static.oschina.net/uploads/space/2017/1013/182219_ENNq_3703517.png) 消费管理 ![image](https://static.oschina.net/uploads/space/2017/1013/182336_pTMW_3703517.png) 基于 RabbitMQ ...阅读全文

2017-10-13 21:00:05 网友

Grabant Go 语言开发的爬虫框架 Grabant

Grabant是一个用go语言开发,用javascript语法书写规则的爬虫框架 规则开发和神箭手的爬虫规则类似,开发的目的是兼容大部分神箭手已有的规则 一些相关解释及说明如下: **扫描页**是直接配置的一级页面,这个页面扫描的结果是抓取列表页; **列表页**是扫描后的二级页面,这个页面是为了抓取内容页; **内容页**才是真正匹配我们需要内容的规则的页面,内容页会匹配我们需要的内容并输出; 每次扫描页面,会抽取页面的链接放入队列进行规则匹配,列表页规则如果为空则列表页抽取链接全放...阅读全文

2017-10-13 19:00:03 网友

Grafeas 开源容器安全工具 Grafeas

Grafeas 用于收集和汇总特定的元数据,为用户提供了一个标准化的方式,在即使由微服务器和容器带来的“软件供应链”缩短的情况下,仍能审核和管理他们的软件供应链。 ![image](https://static.oschina.net/uploads/space/2017/1013/160034_d1WX_2720166.png) 本质上来说,Grafeas 定义了一个围绕代码部署和管道构建、收集所有元数据的应用程序接口(API)。这意味着要保持作者身份和代码记录、每段代码的部署、标记代...阅读全文

2017-10-13 18:00:08 网友