Go语言中文网 为您找到相关结果 172

Golang RPC 之 Thrift

Thrift 简介: Thrift 是一款高性能、开源的 RPC 框架,产自 Facebook 后贡献给了 Apache,Thrift 囊括了整个 RPC 的上下游体系,自带序列化编译工具,因为 Thrift 采用的是二进制序列化,并且与 gRPC 一样使用的都是长连接建立 client 与 server 之间的通讯,相比于比传统的使用XML,JSON,SOAP等短连接的解决方案性能要快得多。本篇只介绍 Golang 关于 Thrift 的基础使用。 安装 安装 Thrift 的 Golang 库有两种方案: 直接通过 go get 命令安装,缺点是因为不可抗拒的网络因素大部分人可能会失败:$ go get git.apache.org/thrift.git/lib/go/thrift 通过...阅读全文

博文 2017-03-17 05:52:34 谢烟客

在线学习平台具备什么特色和特点?

其实在我们的生活中,对于在线学习平台并不陌生,现在企业、教育单位和培训机构都会使用在线学习平台来进行线上学习、培训。使用在线学习平台,可以很好减少人力和物力成本,那么在线学习平台有哪些特色和特点呢? 在线学习平台是通过计算机互联网,或是通过手机无线网络,在一个网络虚拟教室与教室进行网络授课、学习。它不需要特定的时间到特定的地点进行学习,只要有一台电脑、一部手机在有网的地方就能进行学习。再者就是在线培训平台的稳定和安全性,或许很多人会担心在线学习平台的稳定性和安全性,担心在线学习系统会不稳定而丢失了重要数据。但其实不用担心,好智学在线学习平台采用APACHE 2.0+MYSQL+Golang技术,能够保证数据安全稳定,数据储存备份。再者就是在安装上来说,在线培训系统无需安装系统软件,直接在好智...阅读全文

博文 2019-07-08 11:02:42 在线培训学习系统

golang kafka client

针对golang的 kafka client 有很多开源package,例如sarama, confluent等等。在使用sarama 包时,高并发中偶尔遇到crash。于是改用confluent-kafka-go,其简单易用,并且表现稳定。 本文主要介绍confluent-kafka-go的使用方法。 confluent-kafka-go,是kafka官网推荐的golang package。 confluent-kafka-go is Confluent's Golang client for Apache Kafka and the Confluent Platform. 编译环境搭建 安装librdkafka 下载 $ git clone https://github.com/eden...阅读全文

博文 2017-11-05 01:00:01 lanyangsh

总结:优缺点及使用场景

好处和不足 好处: Reactive 是异步非阻塞编程 能实现通过较少的线程处理并发,大大提升程序性能。 Reactive 解决传统编程模型遇到的困境 对于阻塞,可以通过 Callbacks和Futures解决 ;但Callbacks会产生回调地狱问题(callback hell);Futures 相对于 Callbacks 好一点,不过还是无法组合,不过 CompletableFuture 能够提升这方面的不足 不足: 没有异步的JDBC api Java先前大多提供的是同步阻塞库或规范,没有golang类似的官方支持的协程。不过这些都在改善提高中,例如openJDK中的Loom项目就计划实现协程功能,而阿里巴巴的Wisp协程技术已经在阿里生产环境中使用,这两个(Loom和Wisp)未来可...阅读全文

博文 2018-10-15 12:34:41 lesline

Boom — Go语言实现的性能测试工具

Boom — Go语言实现的性能测试工具 HTTP(S) load generator, ApacheBench (ab) replacement, written in Go Boom is a tiny program that sends some load to a web application. It's similar to Apache Bench (ab), but with better availability across different platforms and a less troubling installation experience. 项目地址:[https://github.com/rakyll/boom](https:/...阅读全文

RocketMQ Golang /Node.js Client发布预告

图片发自简书App 近期RocketMQ Golang Client、Node.js Client 2个项目即将release新版本,欢迎有需要的公司或开发者优先使用。 rocketmq-client-nodejs项目https://github.com/apache/rocketmq-client-nodejs rocketmq-client-golang项目 https://github.com/apache/rocketmq-client-go为帮助大家快速使用这两个项目,社区建立了专门的支持群,感兴趣开发者可以联系微信 15201163137。 图片发自简书App 官微:扫二维码关注Apache RocketMQ官方微信公众号,获得RocketMQ技术干活和最新资讯。 图片发自简书A...阅读全文

博文 2018-12-27 18:34:45 RocketMQ技术_寈峰

基于 golang的高性能MQTT Broker

Free and High Performance MQTT Broker ============ ## About Golang MQTT Broker, Version 3.1.1, and Compatible for [eclipse paho client](https://github.com/eclipse?utf8=%E2%9C%93&q=mqtt&type=&language=) and mosquitto-client Download: [click here](https://github.com/fhmq/hmq/releases) ## RUNNING ```bash $ go get github.com/fhmq/hmq $ cd $GOPATH/githu...阅读全文

博文 2019-01-27 20:44:52 chowyu08

Apache RocketMQ 社区 2018年度 Code Hero评选

Apache RocketMQ 社区 2018年度 Code Hero评选 新年伊始,首先请允许我和大家一起回顾一下Apache RocketMQ过去一年的变化。2018年,RocketMQ在技术上做出了诸多的升级与创新,并把应用场景从电商、金融行业扩展到面向整个基础设施,包括云端、互联网、流计算、数据处理和AI。2018年,RocketMQ一共发布了4个版本,加之近期又发布了4.4.0版本,在产品层面上做了大量的优化与增强。同时,发布了事物消息、ACL、消息轨迹等重要特性。 近期,社区重磅推出了多副本存储库Dledger,基于Raft协议。RocketMQ on DLedger计划也将在4.5.0版本上发布。RocketMQ的周边生态不断完善,孵化了Sentinel、Iot bridge、...阅读全文

博文 2019-01-31 10:34:43 RocketMQ技术_寈峰

全文搜索引擎 WuKongSearch

WuKong 全文搜索引擎。功能特性: * [高效索引和搜索](https://github.com/huichen/wukong/blob/master/docs/benchmarking.md)(1M条微博500M数据28秒索引完,1.65毫秒搜索响应时间,19K搜索QPS) * 支持中文分词(使用[sego分词包](https://github.com/huichen/sego)并发分词,速度27MB/秒) * 支持计算关键词在文本中的[紧邻距离](https://github.com/huichen/wukong/blob/master/docs/token_proximity.md)(token proximity) * 支持计算[BM25相关度](https://gith...阅读全文

开源项目 2016-04-17 16:00:00 huichen

go http实现HDFS操作

## HDFS介绍 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。 目前使用golang调用hdfs的方式有以下几种: - 使用go http 调用webHDFS/httpfs接口实现。 - 使用c li...阅读全文

博文 2018-12-17 18:09:02 ghbin0108

Go连接Hive

经过两天多的资料查找,反复测试从网上找到的多种方案,加上阿里云售后的支持,终于搞定Go语言连接Apache Hive的问题。 测试环境,阿里云E-MapReduce 2.1 中的Hive, Golang 1.7,开发环境win10。 在阿里云hive-site.xml中需要添加: hive.server2.authentication NOSASL 代码如下: package main import ( "fmt" "github.com/derekgr/hivething" //基于hiveserver2 thrift ) func main() { db, err := hivethin...阅读全文

博文 2016-11-05 03:00:01 dazheng

Apache struts2漏洞又来了,这一次如何机智地与中国黑客界的半壁江山赛跑?

到年末做盘点时,没有人会忘记2016年4月26日。 就在这一天,Apache Struts2官方又发布了一份安全公告: Apache Struts2 服务在开启动态方法调用的情况下可以远程执行任意命令,官方编号 S2-032,CVE编号 CVE-2016-3081。 小白翻译机: 这是自2012年Struts2命令执行漏洞大规模爆发之后,该服务时隔四年再次爆发大规模漏洞。 该漏洞也是今年目前爆出的最严重安全漏洞。 黑客利用该漏洞,可对企业服务器实施远程操作,从而导致数据泄露、远程主机被控、内网渗透等重大安全威胁。 不信这个邪? 请注意第二段的“又”。 要知道,Apache Struts 2是世界上最流行的Java Web服务器框...阅读全文

全自动装机工具 OSinstall

“CloudBoot”(OSinstall)云装机平台,是金融云初创公司杭州云霁科技推出的一款X86服务器全自动装机工具,遵循Apache协议,完全开源免费。 “CloudBoot”中文名为云启装机平台,简称云装机,寓意是”云端装机,云之开始”,有以下两层含义:     对已经使用云计算的公司,实现物理机的全自动安装,是构建云的第一步。     对没有使用云计算的公司,全自动构建物理机资源池,像创建虚拟机一样方便的安装物理机,是未来迈向云计算架构的第一步...阅读全文

开源项目 2016-05-08 16:00:00 idcos

golang高性能RPC:Apache Thrift安装使用完全攻略

在企业应用中RPC的使用可以说是十分的广泛,使用该技术可以方便的与各种程序交互而不用考虑其编写使用的语言。 如果你对RPC的概念还不太清楚,可以点击这里。 现今市面上已经有许多应用广泛的RPC框架,比如GRPC,而今天我们要介绍的是同样使用广泛的Apache Thrift。这篇文章将带你安全越过所有坑点,请放心食用。 Thrift简介 Thrift是Facebook的一个开源项目,后来进入Apache进行孵化。Thrift也是支持跨语言的,所以它有自己的一套IDL。目前它支持几乎所有主流的编程语言:C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, OC...阅读全文

博文 2018-08-05 03:30:01 apocelipes

地点北京朝外SOHO,找Go Web后台开发

要求: * 1年以上团队协作工作经验; * 熟悉Linux/Unix操作环境,Linux/OSX作为开发系统; * 熟悉Nodejs或Go、MySQL、Redis、Apache,有良好的编码和文档写作习惯; * 了解面向服务架构、敏捷开发; * 具备较强的逻辑思维能力、自学能力、英文阅读能力和沟通能力,乐于分享; * 具备一定的前端开发能力和审美能力优先; 薪资: 8-16K 简历请发邮箱: hui@owhat.c...阅读全文

MySQL Binlog 增量实时同步工具go-mysql-transfer

[![License](https://img.shields.io/badge/license-Apache%202-4EB1BA.svg)](https://www.apache.org/licenses/LICENSE-2.0.html) # 简介 go-mysql-transfer是使用Go语言实现的MySQL数据库实时增量同步工具。能够实时监听MySQL二进制日志(binlog)的变动,将变更内容形成指定格式的消息,发送到接收端。在数据库和接收端之间形成一个高性能、低延迟的增量数据(Binlog)同步管道。 # 特性 1、不依赖其它组件,一键部署 2、集成多种接收端,如:Redis、MongoDB、Elasticsearch、RabbitMQ、Ka...阅读全文

开源项目 2020-09-05 21:33:40 wj596

kafka如何配置SASL/PLAIN认证模式

创建kafka broker配置文件 $ cat kafka_server_jaas.conf KafkaServer { org.apache.kafka.common.security.plain.PlainLoginModule required username="kafkaadmin" password="kafkaadminpwd" user_kafkaadmin="kafkaadminpwd" user_kafkaclient1="kafkaclient1pwd" user_kafkaclient2="kafkaclient2pwd"; }; Client { org.apache.kafka.common.security.plain.PlainLoginModule req...阅读全文

博文 2018-12-25 18:34:44 CodingCode

分布式系统跟踪框架 Apache HTrace

Apache HTrace是Cloudera开源出来的一个分布式系统跟踪框架,支持HDFS和HBase等系统。该项目目前还在孵化阶段。 ![htrace-f1](http://static.oschina.net/uploads/img/201606/06153821_NjbB.png) Apache HTrace是一个 Apache Incubator 项目, 可以与独立的应用程序和库使用。 HTrace是专为大的分布式系统使用的, 如Apache Hadoop分布式文件系统和Apache HBase存储引擎。 通过添加HTrace 支持到你的项目上,你将允许终端用户跟踪他们的请求。 此外,任何其他项目 使用HTrace都 可以使它 按照 你的项目的请求。  这就...阅读全文

分布式全文搜索引擎RiotSearch

riot 分布式全文搜索引擎, 采用 Go 语言开发。功能特性: 高效索引和搜索(1M条微博500M数据28秒索引完,1.65毫秒搜索响应时间,19K搜索QPS) 支持中文分词(使用gse分词包并发分词,速度27MB/秒) 支持逻辑搜索 支持中文转拼音搜索 支持计算关键词在文本中的紧邻距离(token proximity) 支持计算BM25相关度 支持自定义评分字段和评分规则 支持在线添加、删除索引 支持多种持久存储 支持分布式索引和搜索 可实现分布式索引和搜索 采用对商业应用友好的Apache License v2发布 示例代码: 项目详情: Github在线源码:[https://github.com/go-ego/riot](https://github....阅读全文

开源项目 2017-10-21 18:00:04 网友

AzureCon上微软宣布了哪些容器相关的重磅消息

在年底之前,微软将会提供一个新的Azure Container Service预览版本给测试者,这款服务将Apache Mesos、Docker 和 Azure三者结合起来。 ![alt 文本](http://blog.tenxcloud.com/wp-content/uploads/2015/10/%E9%87%8D%E7%A3%85%E6%B6%88%E6%81%AF-300x178.jpg) 微软正在和Mesosphere以及Docker合作构建新的容器调度和编排服务。这项新的服务将允许开发人员使用Mesos开源集群管理服务和Docker配容器管理技术部署和配置应用。 据微软官方介绍,Azure Container Service将支持Linux容器并在“未来”支持W...阅读全文

go 是怎么运行web服务的?

我现在电脑上已经有一个apache了,在网上看了一下视频 ,go运行web服务在本地也是localhost ,那么不是已经和我的apache有冲突了,不知道这个问题要怎么解决,难道是要修改监听的端口吗?刚刚开始学习go的开发,还不是很了解, 麻烦各位高手指定一下,或者是提示一下,我应该去看那一方面的资料,谢谢了,,,...阅读全文

全球安全资讯精选 2017年 第七期: Equifax 泄漏 1.43 亿用户数据

游戏安全资讯精选 摘要: 游戏账号窃取日益猖獗,2017世界物联网博览会IoT安全观点 【每周游戏行业DDoS态势】 【游戏安全动态】 游戏账号窃取日益猖獗,游戏运维人员如何做好防范?点击查看 https://www.gdatasoftware.com/blog/2017/07/29892-error-404-online-gamers-at-risk?spm=5176.100239.blogcont204550.16.XQfdvW 概要:盗取游戏账号主要目的是获取个人信息在暗网售卖,并且用账号、虚拟货币、虚拟装备来盈利,这也意味着,游戏行业越发达,安全风险也就越高,因为攻击者的盈利空间越大。 作为游戏公司,可定期引导玩家去检查自己的账户密码...阅读全文

【分布式架构】阿里免费送你分布式消息中间件MQ开发教程

课程介绍 阿里云消息队列MQ(Message Queue)是企业级互联网架构的核心产品,服务于整个阿里巴巴集团已超过8年,经过阿里巴巴交易核心链路反复打磨与历年双十一严苛考验,是一个真正具备低延迟、高并发、高可用、高可靠,可支撑万亿级数据洪峰的分布式消息中间件。 消息队列提供 MQ-MQTT 移动物联套件,连接端(如移动设备、智能家电、汽车、机器人等)和云,实现双向通信,可支撑亿级设备连接与百万消息并发。 消息队列秉持开放、共享的原则拥抱开源生态,无技术绑定,2016年阿里巴巴正式宣布将 MQ 内核引擎 RocketMQ 捐赠给 Apache 软件基金会;与此同时,全面融合 kafka 生态,做到无缝迁移,打造更安全、更可靠、更易运维的 kafka 企业级消息服务。 ...阅读全文

Go 语言各种测试库(框架)比较

比较的库包括: 1. testing(标准库) 2. [GoConvey](https://github.com/smartystreets/goconvey/) 3. [testify](https://github.com/stretchr/testify/) 4. [gocheck](http://labix.org/gocheck) 5. [prettytest](https://github.com/remogatto/prettytest) 6. [go-spec](https://github.com/bmatsuo/go-spec) 7. [gospec](https://github.com/orfjackal/gospec) 8. [mao](http...阅读全文

Apache RocketMQ 的扩展项目RocketMQ Externals

由 Apache RocketMQ 社区贡献并维护的 Apache RocketMQ 扩展项目。 使用 Spring Boot 重新设计的 RocketMQ 控制台 RocketMQ 的 JMS 1.1 规范实现 Flume RocketMQ source 和 sink 的实现 集成 Apache Flink 和 Apache RocketMQ。详细介绍请查看 [README](https://github.com/apache/rocketmq-externals/tree/master/rocketmq-flink) 集成 Apache Spark 和 Apache RocketMQ,提供了 push & pull 消费者。详细介绍请查看 [README](https:...阅读全文

开源项目 2018-05-16 12:30:02 网友

PHP大牛常用的缓存技术总结

在php开发中,我们常常用到缓存技术,以提高开发、运行效率。那php常用缓存技术有哪些呢?它们是怎么使用的呢?下面小编就为大家分享php开发中的10大缓存技术,希望对php初学者有所帮助。 1、全页面静态化缓存 所谓全页面静态化缓存,就是将页面全部生成html静态页面,用户访问时直接访问的静态页面,而不会去走php服务器解析的流程。此种方式,在CMS系统中比较常见,比如dedecms; 这种缓存,比较常用的实现方式是输出缓存: Ob_start() ******要运行的代码******* $content = Ob_get_contents(); ****将缓存内容写入html文件***** Ob_end_clean(); 2、页面部分缓存 该种方式,...阅读全文

流量拷贝-gor

常见的 Web 应用的压力测试工具 Web 应用压力测试工具有很多,比如 Apache ab,node-ab,Apache JMeter, LoadRunner, httperf。但是这些工具都没能解决一个问题: 如何正确模拟生产环境的流量 如今 Web 应用的架构变得非常复杂,内部包含复杂的各种负载均衡、 服务和 RPC 调用关系,简单的发送 GET 请求到某些 URL 或者 API 接口完全无法模拟真实的流量。假如回放 HTTP 日志,操作又异常麻烦。Tcpcopy 虽然能够复制实时流量,但是操作也很复杂。之前的 亚马逊云平台的迁移 就用到了 Gor 这个工具。 Gor 是 Web 应用压力测试的完美方案 我一直在找一个简单又方便的解决方案,直到找到了 Gor 。Gor 是用 Golan...阅读全文

博文 2017-07-02 16:11:21 xingfei

go语言redis-cluster开源客户端

传送门 https://github.com/gitstliu/go-redis-cluster ### If you like please Start it # go-redis-cluster go-redis-cluster is a golang implementation of redis client based on Gary Burd's [Redigo](https://github.com/garyburd/redigo). It caches slot info at local and updates it automatically when cluster change. The client manages a connection pool for eac...阅读全文

博文 2018-03-01 13:31:06 gitstliu

DocHub文库PC端模板,文库系统PC端模板

# DocHub文库PC端模板 [DocHub](https://gitee.com/TruthHun/DocHub)文库PC端模板,使用基于Bootstrap的Flat-UI开发,模板页面是在2016年8月份左右开发出来的,原型我也不记得是参考哪个站点的了,毕竟这个PC端模板差不多算是两年前的作品了。 `DocHub`演示站点[IT文库(http://wenku.it)](http://wenku.it)上的页面,在开发的时候,对样式和页面布局做了一些改动,而且,现在的模板,是没有实现一些js相关功能的。 现以Apache 2.0 开源协议,将模板开源出来,有需要的朋友可以直接拿来使用。 ## 模板托管地址 - GitHub:https://github....阅读全文

谷歌表示开源Knative不会捐赠给任何基金会

姓名:刘雅迪 学号:19131223381 链接:https://m.ithome.com/html/449302.htmKnative 是谷歌开源的一套Serverless架构方案,它扩展了Kubernetes,专注于解决容器为核心的Serverless应用的构建、部署和运行的问题,它构建在 Kubernetes和Istio平台之上,整合了 Kubernetes提供的deployment、replicaset和pods等容器管理能力,与Istio提供的ingress、LB、dynamic route等网络管理功能。近日在谷歌高层的战略公告中,产品经理兼Knative指导委员会成员Donna Malayeri明确表示 Knative将不会捐赠给任何基金会。自Knative项目开始以来,一直存...阅读全文

博文 2019-10-10 00:32:45 aside section ._1OhGeD

独家专访阿里高级技术专家北纬:Dubbo开源重启半年来的快意江湖

摘要: 罗毅,花名北纬。这个名字,如果是混过天涯论坛的大龄网民应该都不陌生,北纬67度3分周公子(简称北纬)虐杀易烨卿MM的世纪大战至今还是天涯神贴 ,当时更是有看客赋诗形容:“目睹此帖,开怀大笑,行走论坛,此帖独尊。”可见其影响力。 罗毅,花名北纬。这个名字,如果是混过天涯论坛的大龄网民应该都不陌生,北纬67度3分周公子(简称北纬)虐杀易烨卿MM的世纪大战至今还是天涯神贴 ,当时更是有看客赋诗形容:“目睹此帖,开怀大笑,行走论坛,此帖独尊。”可见其影响力。 罗毅取花名为北纬,可以说是怀念这段经典,致敬周公子。 孔子说,40而不惑。如今的罗毅应该就是这个状态了,对人情世故有所清明,对自己的状态,尤其是所做的工作有着清楚的认知,对未来也有一定的计划。 20余年的从业履历...阅读全文

HelloTalk 基于 OpenResty 的全球化探索之路

2019 年 12 月 14 日,又拍云联合 Apache APISIX 社区举办 API 网关与高性能服务最佳实践丨Open Talk 广州站活动,HelloTalk, Inc. 后台技术负责人李凌做了题为《HelloTalk 基于 OpenResty 的全球化探索之路》的分享。 李凌,HelloTalk,Inc. 后端技术负责人,专注在服务出海和基于 Golang/CPP 的 IM 服务及相关技术平台的架构,5 年基于 OpenResty 服务治理和使用经验。 以下是分享全文: 大家好,我是来自 HelloTalk 的李凌,本次主要介绍 HelloTalk 做什么业务以及基于怎样的场景使用 OpenResty 和 Apache APISIX。 HelloTalk:技术上看是基于全球的 T...阅读全文

博文 2020-01-08 19:32:58 又拍云

golang 网络框架之 thrift

thrift 最初是 facebook 开发使用的 rpc 通信框架,后来贡献给了 apache 基金会,出来得比较早,几乎支持所有的后端语言,使用非常广泛,是不可不知的一个网络框架 和 grpc 一样,需要先定义通信协议,然后实现自己业务逻辑,下面还是通过一个简单示例(之前的echo程序)说明 thrift 的用法,下面示例使用的完整代码在下列地址:实现文件:https://github.com/hatlonely/...协议文件:https://github.com/hatlonely/... 简单 echo 服务 获取 thrift go get git.apache.org/thrift.git/lib/go 定义协议文件 namespace go echo struct EchoR...阅读全文

博文 2018-02-04 17:34:36 hatlonely

PaaS 系统 Kel

Kel 是一个开源的基于 [Kubernetes](http://www.oschina.net/p/kubernetes) 构建的 PaaS 系统,采用 Python 和 Go 语言开发。Kel 可简化管理 Web 应用发布和托管整个软件生命周期。Kel 帮助开发和运维人员轻松管理他们的应用架构,通过一组工具和组件让 K8S 使用非常简单。 Kel 包括如下组件: * kel-api * kel-router * kel-identity * kel 命令行客户端 * kelctl * kel-cluster Kel 使用 Apache 许可证,同时可由 Eldarion 公司提供商业支持...阅读全文

Go实现海量日志收集系统(一)

项目背景 每个系统都有日志,当系统出现问题时,需要通过日志解决问题 当系统机器比较少时,登陆到服务器上查看即可满足 当系统机器规模巨大,登陆到机器上查看几乎不现实 当然即使是机器规模不大,一个系统通常也会涉及到多种语言的开发,拿我们公司来说,底层是通过c++开发的,而也业务应用层是通过Python开发的,并且即使是C++也分了很多级别应用,python这边同样也是有多个应用,那么问题来了,每次系统出问题了,如何能够迅速查问题? 好一点的情况可能是python应用层查日志发现是系统底层处理异常了,于是又叫C++同事来查,如果C++这边能够迅速定位出错误告知python层这边还好,如果错误好排查,可能就是各个开发层的都在一起查到底是哪里引起的。当然可能这样说比较笼统,但是却引发了一个问题: 当系...阅读全文

博文 2020-01-15 09:33:27 51reboot

Kafka、RabbitMQ、RocketMQ 消息中间件的对比 | 消息发送性能篇

摘要: 消息中间件性能究竟哪家强? 带着这个疑问,我们消息队列测试小组对常见的三类消息产品(Kafka、RabbitMQ、RocketMQ)做了性能比较。 阿里云消息队列测试小组 出品 分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,我们自家的产品 RocketMQ (阿里云消息队列(MQ)的内核) 也顺利开源,得到大家的关注。 那么,消息中间件性能究竟哪家强? 带着这个疑问,我们消息队列测试小组对常见的三类消息产品(Kafka、RabbitMQ、RocketMQ)做了性能比较。 Kafka是LinkedIn开源的分布式发布-订阅消息系统,目前归属于Apache定级项目。Kafka主要特点是基于Pull的模式来...阅读全文

Go实现的新一代爬虫框架Creeper

[![License](https://img.shields.io/badge/License-Apache%202.0-blue.svg?style=flat)](https://opensource.org/licenses/Apache-2.0) [![PyPI](https://img.shields.io/pypi/status/Django.svg?style=flat)]() ![Creeper](https://raw.githubusercontent.com/wspl/creeper/master/art/Creeper.png) ## About Creeper is a *next-generation* crawler which fetches we...阅读全文

开源项目 2017-02-17 08:30:58 Plutonist

Uber 的分布式追踪系统Jaeger

Jaeger是Uber的分布式跟踪系统。 大多数现有的Zipkin兼容仪表库支持概率采样,但他们希望在初始化时配置采样率。这种方法在大规模使用时导致几个严重问题: 给定的服务几乎没有洞察采样率对跟踪后端的总体流量的影响。 在Uber,商业交通展示强烈的每日季节性; 更多的人在高峰时段乘坐。固定采样概率对于非高峰业务来说太低,而对于高峰业务又太高。 Jaeger客户端库中的轮询功能旨在解决这些问题。通过将关于适当采样策略的决定移动到跟踪后端,我们免除服务开发人员猜测适当的采样率。这还允许后端在流量模式改变时动态地调整采样率。下图显示了从收集器到客户端库的反馈循环。 ![image](https://static.oschina.net/uploads/space/2017/0310/...阅读全文

开源项目 2017-03-10 03:00:51 网友

go: missing Git command. See https://golang.org/s/gogetcmd

svn - Subversion,download at :http:/subversion.apache.org/packages.html hg - Mercurial,download at https://www.mercurial-scm.org/downloads git - Git,download at http://git-scm.com/downloads bzr - Bazaar,download at http://wiki.bazaar.canonical.com/Downlad. for example,git is used for Github,hg is used for Bitbucket,etc. Refer GogetProxyCOnfig (http...阅读全文

博文 2017-11-14 07:00:00 joewan

go2019

Go开发者路线图2019,请收下这份指南原创: Rachel AI科技大本营 今天整理 | Rachel责编 | 阿司匹林出品 | AI科技大本营(ID: rgznai100)Go是Google开发的一种静态、强类型、编译型、并发型,并具有垃圾回收功能的类C编程语言。2009以开源项目的形式发布,2012年发布1.0稳定版本,距今已经十年了,其性能类似于Java和C++,但速度极快,适合搭载于web服务器,用于高性能分布式系统开发。作为热门的编程语言之一,Go语言吸引了很多关注。根据TIOBE编程排行榜,2016年,Go语言成为年度最受欢迎的编程语言;2019年,Go语言的热度不减,仍稳居排行榜前20名。在基于云的服务中,Go语言因其在编译速度和执行性能上的优越性,具有其他编程语言无法比拟的...阅读全文

博文 2019-04-29 17:34:44 HuJay

企业打开云HBase的正确方式,来自阿里云云数据库团队的解读

摘要: 一、HBase的历史由来 HBase是一个开源的非关系型分布式数据库(NoSQL),基于谷歌的BigTable建模,是一个高可靠性、高性能、高伸缩的分布式存储系统,使用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 一、HBase的历史由来 HBase是一个开源的非关系型分布式数据库(NoSQL),基于谷歌的BigTable建模,是一个高可靠性、高性能、高伸缩的分布式存储系统,使用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase最初是以Hadoop子项目的形式进行开发建设,直到2010年5月才正式成为Apache的顶级项目独立发展。伴随着互联网时代数据的澎湃增长,HBase作为基础存储系统得到了快速发展与应用,大...阅读全文

分布式对象存储 GoshawkDB

GoshawkDB 是一个采用 Go 语言开发支持多平台的分布式的对象存储服务,支持事务以及容错。GoshawkDB 的事务控制是在客户端完成的。GoshawkDB 服务器端使用 AGPL 许可,而 Go 语言客户端使用 Apache 许可证。 ![image](http://static.oschina.net/uploads/img/201605/07080139_ryJU.png) 命令行参数:

> goshawkdb -h
GoshawkDB 2016/01/10 09:42:00.286354 [goshawkdb -h]
Usage of goshaw...阅读全文

LAMP环境部署物联网项目

今天来在LAMP环境下搭建一个PHP项目,开始之前,先来普及下物联网常识: 物联网,即Internet of Things,简写IOT。让所有能行使独立功能的普通物体实现互联互通的网络,通过物联网可以用中心计算机对机器、设备、人员进行集中管理、控制,实现物物相连。近几年物联网在运输、物流、健康医疗、智能环境(家庭、办公、工厂)等领域都在迅速发展,前景打好。 B哥最近研究一个物联网项目:基本功能就是要在web网站和手机app端实时监控硬件上发来的数据,用于分析、集中管理与控制,硬件是基于ARM的,web端是用php开发的,基本功能可以跑起来,现在主要在这基础上实现自己的功能。上一节B哥已经在云服务器上搭建好LAMP环境(linux上安装LAMP笔记),接下来就要把web项目部署好服务器上。遇到...阅读全文

博文 2019-10-19 21:02:44 小碗汤

Kafka 消费者滞后检查 Burrow

Burrow是一个基于Apache Kafka的监控助手,为消费者提供滞后检查作为服务,而不需要指定的阈值。它可以监视所有消费者提交的偏移,并计算这些消费者的需求状况。 **特性** * 没有阈值 * 多Kafka集群支持 * 支持配置 Zookeeper 提交的偏移 * 支持配置 Strom 提交的偏移 * 可配置的emailer用于发送警报到特定群体 * 可配置的HTTP 客户端用户为所有的用户组发送警报到其他系...阅读全文

Go Commons Pool

Go Commons Pool 是用 Go 实现的对象池,直接翻译自 Java 版的 [Apache Commons Pool](http://www.oschina.net/p/commons-pool). 示例代码:

//use create func
pool := NewObjectPoolWithDefaultConfig(NewPooledObjectFactorySimple(
        func() (interface{}, error) {
            return &MyPoolObject{}, nil
        })...阅读全文

开源项目 2016-01-04 16:00:00 jolestar

my-win-fhs

common 7zip AdobeReader Foxmail Microsoft-Office Netease-CloudMusic ShadowSocks SwitchHosts TeamViewer Tecnet |-QQ |-QQPCMgr |-WeChat |-WXWork Thunder XMind productivity tools Clipx AutoHotkey Ditto Everything Wox Listary Snipaste totalcmd WinDirStat sdk Java Python Golang ide or editor JetBrains_DataGrip |-app JetBrains_GoLand |-app JetBrains_IJ-I...阅读全文

博文 2018-10-21 12:34:41 TebahplaX

mysql sql优化演练

# 关联分页查询优化 这里以图书馆图书借阅收藏信息获取的两个例子来演示sql优化的方法。 先来看一个简单的例子。 ## 两个表关联 ###优化前 sql如下 ``` explain select b.* from bookms_book b left join bookms_user_favorite f on f.identify=b.identify where user_id=1 limit 100 offset 20000; +----+-------------+-------+------------+--------+---------------+----------+---------+------+--------+----------+-----------------...阅读全文

博文 2020-02-18 14:10:23 GrassInWind2019

从 Apache RocketMQ 和 Kafka 看 Topic 数量对单机性能的影响

摘要: 这次,我们来模拟一个真实的场景: * 消息的发送和订阅一定是共存的 * 要支持多个订阅端订阅自己感兴趣的消息 我们将针对 RocketMQ 和 Kafka,对比在上述场景中,究竟谁更胜一筹。 阿里云消息队列测试小组 出品 上一期我们对比了三类消息产品(Kafka、RabbitMQ、RocketMQ)单纯发送小消息的性能,受到了程序猿们的广泛关注,其中大家对这种单纯的发送场景感到并不过瘾,因为没有任何一个网站的业务只有发送消息。本期,我们就来模拟一个真实的场景: 消息的发送和订阅一定是共存的 要支持多个订阅端订阅自己感兴趣的消息 本期我们将针对 RocketMQ 和 Kafka,对比在上述场景中,究竟谁更胜一筹。在正式开始测试之前,首先要向大家明确2个概念: 查...阅读全文