Go语言中文网 为您找到相关结果 50

[深圳][大疆创新][15K-40K]招聘高级/中级Golang研发工程师

## 高级Golang研发工程师 ### 岗位职责: 1. 参与公司微服务架构的整体设计和开发,进行相关技术调研、选型和实践; 2. 负责编制、修改项目相关的技术文档和规范; 3. 负责新人指导和code review,技术难题研究,提升团队技术水平; 4. 参与公司开源项目的设计与开发,提高公司在业界的影响力。 ### 任职要求: 1. 熟练掌握Golang,4年以上工作经验,2年以上Golang开发经验,有完整项目经验,同时熟练掌握Java/Ruby/Python/C#等任意一门语言者优先; 2. 熟练掌握Golang相关技术,熟悉Golang协程,熟悉channel和锁,对高并发、高可用架构系统有正确、深刻的理解,有分布式服务设计或开发经验者优先; 3. 熟悉M...阅读全文

使用 plot 绘制图表

作为一个程序员,很多时候虽然我喜欢盯着 console 输出的一堆数字看一些系统变化指标,但俗话说,一图胜千言,如果能自动的将很多数据生成图表展示,会更加清晰明了,而且能直接从变化的曲线上面得知更多的信息。这也就是我特别喜欢 Prometheus + Grafana 的原因。 但很多项目,尤其是临时的一些测试项目,我不可能为了看一个数据图表就搭建一套 Prometheus + Grafana 系统,那样效率太低,更多时候,我还是希望能有一个更简单的工具将一些数据展示出来。 幸运的是,我们可以通过 plot 非常方便的做到。plot 是一个用 Go 语言实现的绘图库,我们可以通过它绘制非常丰富的图表,并且可以输出成多种格式。另外,plot 还提供了非常方便的 interface,我们可以通过它...阅读全文

博文 2017-06-21 02:14:10 siddontang

golang之zap探索

GO Web 编程:http://www.kancloud.cn/kancloud/web-application-with-golang/44105 我的golang工程:https://github.com/javahongxi/go.web.red.git uber zap test package main import ( "go.uber.org/zap" "time" "go.uber.org/zap/zapcore" "net/http" "bufio" "os" ) func main() { //logger, _ := zap.NewProduction() //defer logger.Sync() // flushes buffer, if any //sugar ...阅读全文

博文 2017-08-25 17:03:26 京东技术

windows下部署Grafana开发环境

Grafana需要以下环境才能正常进行开发: Node.js go 安装Node.js 根据你的开发环境,从Node.js官网下载最新版msi安装包 按步骤完成安装,基本没什么坑,略过。 安装golang开发环境 从golang官网下载安装包 一路next,采用默认安装,安装时会自动在系统环境变量里新建一个名为GOROOT的环境变量, 这个变量的值和你go的安装路径一致。 go代码必须在工作空间内。工作空间是一个目录,其中包含三个子目录: src里面每一个子目录,就是一个包。包内是go的源码文件 pkg编译后生成的,包的目标文件 bin生成的可执行文件。 安装完毕后我们需要手动添加一个名为GOPATH的环境变量,值为工作空间的路径。 你可以随便新建一个文件夹作为go的工作空间,例如我新建了一...阅读全文

博文 2017-10-16 08:04:52 差不多是只废猫了

TiDB 集群的入门与实战

本文耗时较长,包括实战演练以及经验总结。我很早就接触了 TiDB ,但一直都是单机版,最近对大数据存储、性能、可扩展性有所要求,所以对 TiDB 需要更深的了解,首先就是搭建一个测试集群环境,只有真正用了才知道适不适合。本文是我对搭建 TiDB 集群的入门和实践过程的纪要,希望对大家有所帮助,在这里也要特别感谢 PingCAP 团队给以的鼎力帮助,?。本文分为以下几个方面来进行介绍:准备工作安装、配置调试监控总结参考资料准备工作服务器配置官方建议的 TiDB 集群最低配置为 6 台机器。2 个 TiDB 实例,第一台 TiDB 机器同时用作监控机;(与 PD 实例公用)3 个 PD 实例;(公用)3 个 TiKV 实例;(单独使用)所需服务器的配置要求:NameCPU内存磁盘数量总价tikv...阅读全文

博文 2017-09-18 01:23:26 杨文

360基于Prometheus的在线服务监控实践

女主宣言本文源自8月9日『DBAplus社群』的直播间分享,分享人是360HULK私有云平台addops团队赵鹏,本文为『DBAplus社群』公众号首发,已授权转载。PS:丰富的一线技术、多元化的表现形式,尽在“HULK一线技术杂谈”,点关注哦!主题简介:Prometheus基础介绍Prometheus打点及查询技巧Prometheus高可用和服务发现经验初衷最近参与的几个项目,无一例外对监控都有极强的要求,需要对项目中各组件进行详细监控,如服务端API的请求次数、响应时间、到达率、接口错误率、分布式存储中的集群IOPS、节点在线情况、偏移量等。比较常见的方式是写日志,将日志采集到远端进行分析和绘图,或写好本地监控脚本进行数据采集后,通过监控系统客户端push到监控系统中进行打点。基本上我们...阅读全文

博文 2017-08-31 03:22:49 赵鹏

Golang 使用 Prometheus 监控 Gin 服务性能

📡 ginpromPrometheus metrics exporter for Gin.Inspired by Depado/ginprom.🔰 Installation$ go get -u github.com/chenjiandongx/ginprom📝 UsageIt's easy to get started with ginprom, only a few lines of code needed.import ( "github.com/chenjiandongx/ginprom" "github.com/gin-gonic/gin" "github.com/prometheus/client_golang/prometheus/promhttp" ) func main()...阅读全文

博文 2019-08-20 10:31:25 chenjiandongx

kubernetes如何解决服务依赖呢?

文链接在此。写的比较通俗易懂,做个笔记,有一些是我自己的理解。 在微服务的世界里,任何应用都需要注意,其所依赖的服务是会中断的。所以当应用发现某服务(如数据库)出现了故障,应该每隔一端时间去重试。而上层框架(如k8s)会检测到服务故障,并尝试恢复这个服务。 但在现实世界里,有些旧应用并没有处理这种情况,但我们还是希望能将他们也跑在微服务框架里,以期得到微服务的红利(例如应用故障重启),所以,需要定义服务依赖关系,从而保障旧应用启动时,它所依赖的服务已经ready。 解决方法是,微服务框架替应用等待其所依赖的服务(api, database, etc),当服务准备好时,框架才启动该应用。 如何知道Pod已经Ready kubernetes提供了Readiness Probe功能,用来探测Pod...阅读全文

博文 2017-07-30 05:43:58 伊布

go 读取 ini文件 并修改

go 读取 ini文件 并修改 安装 官方网站 https://ini.unknwon.io/docs/intro/getting_started go get gopkg.in/ini.v1 配置 tmp my.ini main.go my.ini # possible values : production, development app_mode = development [paths] # Path to where grafana can store temp files, sessions, and the sqlite3 db (if that is used) data = /home/git/grafana [server] # Protocol (http or ht...阅读全文

博文 2018-12-14 22:35:45 295631788

Prometheus + Clickhouse + Grafana 架构安装

1. 安装 PrometheusPrometheus 生态 由于原生 tsdb 性能的限制,经过性能测试选用 Clickhouse 作为第三方数据库,提升其大数据读写性能1)下载并解压 wget https://github.com/prometheus/prometheus/releases/download/v2.3.2/prometheus-2.3.2.linux-amd64.tar.gz tar -xvf prometheus-2.3.2.linux-amd64.tar.gz 2)进入并执行 cd prometheus-2.3.2.linux-amd64 ./ prometheus (调试时使用) nohup ./prometheus --config.file=prometheus...阅读全文

博文 2019-01-10 11:34:42 pigness

PostgreSQL 数据库监控工具Pgwatch2

Pgwatch2是监控PostgreSQL数据库工具中最易用的一个。它基于Grafana并为PostgreSQL数据库提供开箱即用的监控功能。因为它已经集成到了容器里,所以我们不必担心各种依赖和复杂的安装步骤,几分钟即可将监控搭建完毕,所有的东西都已经提前配置好。我们只需要将数据库连接配置到监控中即可运行正常监控操作。 ![image](https://oscimg.oschina.net/oscnet/d849e1c85529af8c6e0b98a38e6cd57ae4b.jpg...阅读全文

开源项目 2018-08-05 11:30:02 网友

Prometheus+Grafana打造Mysql监控平台

prometheus/node_exporter/mysqld_exporter都是由go语言编写,需要先安装GoLang环境 下载node_exporter(监控服务器的CPU、内存、存储使用情况)和mysqld_exporter放到Mysql服务器(被监控端) 需要为mysqld_exporter在Mysql数据库新建一个用户,并赋予相应权限 CREATE USER 'exporter'@'localhost' IDENTIFIED BY 'XXXXXXXX' WITH MAX_USER_CONNECTIONS 3; GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'exporter'@'localhost'; 配置mysql_ex...阅读全文

博文 2018-10-17 15:34:41 单行线的旋律

Kafka 状态信息监视器burrowx

burrowx 是一个简单、轻量的 Kafka 状态信息监视器,目前使用 influxdb 存储指标。burrowx 受到 [Burrow](https://github.com/linkedin/Burrow) 的启发,但比它更快、更干净和更稳定。burrowx 是 influxdb 和 grafana 的良好整合。 **运行截图:** ![image](https://static.oschina.net/uploads/space/2017/0808/145624_ope0_2720166.png) **使用:** 安装 运行 burrowx **特性:** 轻量且使用起来非常简单,它指标存储在 [influxdb](https://github.com/infl...阅读全文

Kubernetes Dashboard 1.7.0部署二三事

由于开发的平台要进行内部公开测试,我们这周在公司内部私有云搭建了一套平台。涉及到Kubernetes相关的基础软件,由我来部署。Kubernetes以及其相关组件都在积极的开发中,版本更新也很快。截至本文撰写时,K8s发布最新稳定版是v1.7.6,而与之配套的Dashboard则是v1.7.0。 最初在部署规划时,我选择了Kubernetes v1.7.6+ dashboard v1.6.3的组合。之前K8s v1.7.3的稳定让我对使用最新Release版有一些信心,但dashboard v1.7.0则是三天前刚发布的,看dashboard的commit log,之前还大规模revert了一次。因此,我保守的选择了v1.6.3。 一、但Dashboard v1.6.3与Kubernetes...阅读全文

博文 2017-10-25 06:54:33 bigwhite

Prometheus+Grafana实现监控系统

任务背景某某某公司是一家电商网站,由于公司的业务快速发展,公司要求对现有机器进行业务监控,责成运维部门来实施这个项目。任务要求1)部署监控服务器,实现7x24实时监控2)针对公司的业务及研发部门设计监控系统,对监控项和触发器拿出合理意见3)做好问题预警机制,对可能出现的问题要及时告警并形成严格的处理机制4)做好监控告警系统,要求可以实现告警分级 一级报警 电话通知 二级报警 微信通知三级报警 邮件通知5)处理好公司服务器异地集中监控问题,K8S内部使用的监控系统就是普罗米修斯任务分析为什么要监控?答: 实时收集数据,通过报警及时发现问题,及时处理。数据为优化也可以提供依据。监控四要素:监控对象 [主机状态 服务 资源 页面,url]用什么监控 [zabbix-server zabbix-ag...阅读全文

Prometheus神器之监控K8s集群

Prometheus 简介 Prometheus是SoundCloud开源的一款开源软件。它的实现参考了Google内部的监控实现,与源自Google的Kubernetes结合起来非常合适。另外相比influxdb的方案,性能更加突出,而且还内置了报警功能。它针对大规模的集群环境设计了拉取式的数据采集方式,你只需要在你的应用里面实现一个metrics接口,然后把这个接口告诉Prometheus就可以完成数据采集了。 安装Prometheus 首先我们使用ConfigMap的形式来设置Prometheus的配置文件,如下 apiVersion: v1kind: ConfigMapmetadata: name: prometheus-configuration labels: app.kuber...阅读全文

博文 2019-05-10 19:35:07 程序员同行者

CentOS7安装部署Prometheus+Grafana

作为监控系统的后起之秀,prometheus的安装可谓非常简单,不需要第三方的依赖(数据库、缓存、PHP之类的)。下面演示如何二进制安装prometheus、使用 Node Exporter 采集主机信息并使用Grafana来进行图形化的展示。 1. 安装Prometheus Server Prometheus基于Golang编写,编译后的软件包,不依赖于任何的第三方依赖。用户只需要下载对应平台的二进制包,解压并且添加基本的配置即可正常启Prometheus Server。 1.1 下载并解压二进制安装包 通过prometheus的官网,我们下载最新版本的prometheus,目前看到的最新版本是 2.13.0,这是在2019-10-04日的版本。 #下载、解压、创建软链接 wget htt...阅读全文

博文 2019-10-16 20:02:42 aside section ._1OhGeD

一款炫技的监控系统-Prometheus+Grafana安装记

一、前言:   之前部门用的zabbix 2.0版本的监控系统年事已高,看着那古老又单调的界面真是一点兴趣都没有。正好最近在学习k8s,偶然间看到一篇文章介绍了使用(Prometheus+Grafana)搭建的监控系统,页面很炫,本着喜新厌旧,颜值即正义,特地搭建了个研究研究,毕竟学习使我快乐! 二、Prometheus(普罗米修斯)的特点简介:   用过zabbix的朋友应该知道,它是用C(agent/server端)+PHP(前端)+Mysql(存储)的架构。本司1800+主机,8W+的监控项,每月近80G的监控数据(history,history_unit等表),虽然做了按月分区分表,但是数据库压力还是很大。而且前端页面单调,二次开发难度高(其实是小破厂本部门没有专门的PHP开发人员,...阅读全文

博文 2019-08-23 04:32:49 左舷的风

蚂蚁金服轻量级监控分析系统 SOFALookout 服务端开源

SOFAStack ScalableOpenFinancialArchitecture Stack 是蚂蚁金服自主研发的金融级分布式架构,包含了构建金融级云原生架构所需的各个组件,是在金融场景里锤炼出来的最佳实践。 SOFALookout 是蚂蚁金服在 SOFAStack 体系内研发开源的一款解决系统的度量和监控问题的轻量级中间件服务。本文给大家介绍下 SOFALookout 服务器端主要提供的特性以及使用方式。 SOFALookout:https://github.com/sofastack/sofa-lookout 前言容器,K8S,微服务,Mesh 以及 Serverless 这些新技术方向正在根本的变革我们运行软件的方式。我们构建的系统更加分布式化,另外由于容器,系统的生命周期更加短...阅读全文

博文 2019-06-06 13:32:42 金融级分布式架构

这么多监控组件,总有一款适合你

监控是分布式系统的必备组件,能够起到提前预警、问题排查、评估决策等功效,乃行走江湖、居家必备之良品。 监控系统概要 功能划分 一个宿主机cpu的报警叫做监控;一个业务日志的报错叫做监控;一个APM条件的触发,也叫做监控。分布式系统错综复杂,随便做个统计指标的集合,也属于监控的范畴。怎样做到通用化,理清其中的关系,是需要花点功夫的,否则揉成一团,就不好拆了。 我习惯性从以下两种类型对其进行划分,真正实施起来,系统还是按照数据象限分比较合理: 数据象限 从数据类型划分,大体可分为:日志(logs)、监控(metrics)、调用链(tracing)。 功能象限 从业务角度划分,可分为:基础监控、中间件监控、业务监控 不管什么样的监控系统,又涉及以下几个模块过程: ❏ 数据收集。如何在广度和效率上进...阅读全文

Prometheus、node Exporters、grafana 的安装与使用

端口分配说明: node-exporter 9100 alertmanager 9093 prometheus 9090 Grafana 3000 1.首先安装docker: 安装教程如下: https://www.jianshu.com/p/e73ccf24c04d 安装完成后, 使用 docker 分别拉取 node-exporter,prometheus,grafana最新版镜像 # docker pull prom/node-exporter # docker pull prom/prometheus # docker pull grafana/grafana # docker pull prom/alertmanager 2.运行 node-exporter 指定端口为9100 ,...阅读全文

博文 2018-12-07 18:34:45 东京的雨不会淋湿首尔

go + influxdb + grafana 日志监控系统

docker 运行 influxdb grafana docker 启动 influxdb # 启动 docker $ sudo docker run -d -p 8083:8083 -p8086:8086 --expose 8090 --expose 8099 --name indb -v /data/dockerdata/influxdb:/var/lib/influxdb docker.io/influxdb # 创建数据库和用户 $ sudo docker exec -it indb /bin/bash > create User nginx with password '123456' > GRANT ALL PRIVILEGES ON monitor TO nginx > CRE...阅读全文

博文 2018-12-13 21:34:45 amoyiki

上海猩便利 招聘运维开发工程师

工作职责: 1、需要参加 on-call 排班,来响应生产环境上出现的可用性的问题,并且可能在某些影响到用户体验的故障中向业务开发提供技术支持; 2、利用 Terraform, Chef, Nomad 来管理基础设置; 3、完善基于 Prometheus, Grafana, Alertmanager 的监控和报警平台; 4、完善操作手册,把你学到的东西变成可重复执行的操作,然后进一步自动化这些操作; 5、改进代码发布的流程,把整个流程做得越无聊越好; 6、设计,构建,维护以及规划核心的基础设施,来弹性地支撑快速发展的业务; 7、生产环境的问题排查和故障处理。 任职资格: 1、熟悉 Linux/Unix 操作系统, 会使用 Git; 2、熟练掌握一门通用编程语言,如 P...阅读全文

RTC 监控系统体系

RTC监控体系架构图.png 数据采集端 1)node_exporter 负责服务器数据采集 目前调用的参数有 CPU、memory 和进出口带宽 2)rtc_exporter 负责业务指标数据采集 部分核心代码 func (c *ClusterManager) Collect(ch chan<- prometheus.Metric) { i++ timestamp := time.Now().Unix() fmt.Println() tm := time.Unix(timestamp, 0) fmt.Println("timestamp:", timestamp, " time.Unix:", time.Unix(timestamp, 0), " value:", i) ch <- pro...阅读全文

博文 2019-03-05 18:34:41 pigness

使用 Prometheus + Grafana 对 Kubernetes 进行性能监控的实践

本文来自网易云社区。1 什么是 Kubernetes?Kubernetes 是 Google 开源的容器集群管理系统,其管理操作包括部署,调度和节点集群间扩展等。如下图所示为目前 Kubernetes 的架构图,由 master 和 node 端构成,调度部署和扩展由 master 发起,node 协助 master 实现这些功能。 使用 Kubernetes 可以做到:自动化容器的部署和复制;随时扩展或收缩容器规模;将容器组织成组,并且提供容器间的负载均衡;提供容器弹性,如果容器失效就替换它等等。2 Prometheus + Grafana针对 Kubernetes master 端,如何评估各个组件的性能呢?目前社区提供一种搭建便捷、实用性强的监控方案:Prometheus + Graf...阅读全文

博文 2018-08-14 15:35:22 网易云社区

搭建Prometheus Grafana Go监控平台

一、前言 监控指标 Go监控指标有好多库,监控指标大致一样。 1)https://github.com/bmhatfield/go-runtime-metrics 2)https://github.com/tevjef/go-runtime-metrics 3)Prometheus SDK 指标输出 1)golang expvar 2)Prometheus 二、Prometheus搭建 镜像设置 docker pull mirrorgooglecontainers/addon-resizer:1.8.3 docker tag mirrorgooglecontainers/addon-resizer:1.8.3 k8s.gcr.io/addon-resizer:1.8.3 docker pul...阅读全文

博文 2019-12-18 05:32:42 huiwq1990

使用Prometheus和Grafana监控golang服务

环境 centOS 7.0Prometheus2.14.0Grafana6.5.2 下载安装Prometheus wget https://github.com/prometheus/prometheus/releases/download/v2.14.0/prometheus-2.14.0.linux-386.tar.gz tar -xavf prometheus-2.14.0.linux-386.tar.gz 启动 在解压目录里就有缺省的配置文件prometheus.yml。可以不用修改直接使用启动。 ./prometheus --config.file=prometheus.yml 在浏览器中输入主机IP:9090访问就能看到Prometheus界面 时序类型 <1>Counter:计...阅读全文

博文 2019-12-25 11:32:45 麦穗儿

用cAdvisor InfluxDB Grafana监控docker容器的TcpState

问题 搭建完cAdvisor InfluxDB Grafana监控集群后, 发现没有tcp相关的数据. 源码版本: https://github.com/google/cad...git commit hash:9db8c7dee20a0c41627b208977ab192a0411bf93 搭建cAdvisor InfluxDB Grafana参考 https://botleg.com/stories/mo... 定位过程 是否cadvisor没有记录tcp state? 容易搜索到, 因为cadvisor的高cpu占用, 需要--disable_metrics=""https://github.com/google/cad...实际上并非如此. 不带任何参数情况下, 本地启动cadvis...阅读全文

博文 2019-04-17 15:34:46 enjolras1205

1秒10亿数据! 阿里云日志服务再次升级

摘要: 日前,在“2017杭州·云栖大会”上阿里云宣布,日志服务与Splunk打通合作,同时面向亿级实时日志分析功能上线。兼容SQL92标准与JDBC协议,集中解决各类环境日志一站式需求,包括采集、存储、投递与查询分析等,将日志分析提升到全新高度,达到国内领先水平。 日常生活中人和物的活动会产生大量的数据,而日志是一种常用记录这类活动的载体。通过日志处理,分析可以帮助我们通过大数据找到背后的运作规律,做到业务的智能运维和运营。日志分析最终是拿到结果,但过程中往往需要通过软件(例如kafka、ELK、Flume)等组合搭建日志处理系统,这给使用日志分析工作带来很多问题和困扰。而阿里云日志服务是一种无托管的方案,无需用户关心琐碎的数据采集、扩容、维护、错误处理等工作,将精力集中投入在“分析...阅读全文

k8s与监控--k8s部署grafana6.0

前言 本文主要介绍最新版本grafana6.0的一些新特性和如何部署到k8s当中。 grafana6.0简介 Grafana的这一更新引入了一种新的查询展示数据的方式,支持日志数据和大量其他功能。 主要亮点是: Explore - 一个新的查询工作流,用于临时数据探索和故障排除。 Grafana Loki - 与Grafana Labs的新开源日志聚合系统集成。 Gauge Panel - 种用于gauges的新型独立面板。 New Panel Editor UX 改进了面板编辑,并可在不同的可视化之间轻松切换。 Google Stackdriver Datasource 已经过测试版并正式发布。 Azure Monitor 插件从作为外部插件移植到核心数据源。 React Plugin 支...阅读全文

博文 2019-02-28 10:34:41 iyacontrol

饿了么监控体系:从架构的减法中演进而来

本文根据黄杰老师在〖2019 Gdevops全球敏捷运维峰会-广州站〗现场演讲内容整理而成。讲师介绍黄杰,前饿了么框架工具部监控平台负责人。2015年加入饿了么,负责整个监控平台的构建及周边工具链的建设。之前曾在携程、eBao等多家公司工作,在监控、消息系统及大数据等领域积累了丰富经验。分享概要1、背景2、遇到的问题3、场景化4、系统设计大家好!很荣幸有这样的机会和大家交流,今天分享的主题为《饿了么监控体系的演进》。我差不多是2015年中加入饿了么,主要是负责饿了么整个监控平台的搭建,从0开始搭建这套监控系统。今天主要从以下四块给大家讲一下,整个过程我们遇到了哪些问题,怎么来解决这些问题,以及用怎么样的设计来支撑起这个系统。一、背景其实整个饿了么监控系统在演进过程中主要分为如下3个阶段: 第...阅读全文

GO 里面的比较好用的一些工具方法【值得收藏】

今天在一个源码里面看到里面的 util 包,里面的好多的工具都是我们可以直接拿来使用的,之前没有这个习惯,所以每次就喜欢到处找。现在开始在这些源码里面去记录一下。方便日后的使用。 // 这里是引入的包 import ( "crypto/rand" "crypto/sha256" "crypto/md5" "encoding/base64" "encoding/hex" "errors" "golang.org/x/crypto/pbkdf2" "strings" "github.com/grafana/grafana/pkg/util/errutil" ) Encode 操作 // GetRandomString generate random string by specify chars...阅读全文

博文 2020-06-04 16:32:52 IT猿看视界

这么多监控组件,总有一款适合你

更多文章,请移步微信公众号《小姐姐味道》 mp原文 https://mp.weixin.qq.com/s?__biz=MzA4MTc4NTUxNQ==&mid=2650518678&idx=1&sn=8c8c9c40620b649cfb673ecef70a23f4&chksm=8780b352b0f73a44455f99f93db67ec024a5f0c6ada17e29cb35f6f12d628148f9e0d74d91b3&token=1441710335&lang=zh_CN#rd 监控是分布式系统的必备组件,能够起到提前预警、问题排查、评估决策等功效,乃行走江湖、居家必备之良品。 监控系统概要 功能划分 一个宿主机cpu的报警叫做监控;一个业务日志的报错叫做监控;一个APM条件的触发...阅读全文

博文 2019-07-09 14:33:09 小姐姐味道

利用Prometheus 打造企业分布式监控平台(8)--VictoriaMetrics集群

在之前的系列文章中,我们讲到了一个远程存储对于企业级Prometheus的重要性,以及Thanos和VictoriaMetrics的对比。今天我们主要讲VictoriaMetrics,包括集群部署和如何与Prometheus结合。 VictoriaMetrics是一个高性能,低成本,可扩展的时序数据库。可以用来做Prometheus的长期存储。分为单机版本和集群版本,均已开源。如果数据写入速率低于每秒​​一百万个数据点,官方建议使用单节点版本而不是集群版本。 当然单机版本配置简单,可以通过纵向扩展的方式来提升性能。不过作为一个企业级的监控系统,选择集群版本,也就是选择横向扩展。 架构预览 VictoriaMetrics集群包含下面三个组件: vmstorage- 存储数据 vminsert-...阅读全文

博文 2020-04-24 14:33:09 iyacontrol

GO 日志监控系统(并发与并行)

nignx(日志文件)-->log_process(实时读取解析写入)-->influxdb(存储)-->grafana(展现)常见并发模型 1.进程&线程(apache) C10K 2.异步非阻塞(nginx,libevent,nodejs) 复杂度高 3.协程(golang,erlang,lua)goroutines(程序并发执行) 1.程序并发执行(goroutine) 2.多个goroutine间的数据同步和通信(channels) 3.多个channel选择数据读取或者写入(select) golang的并发与并行 将复杂的任务拆分,通过goroutine去并发执行 通过channel做数据通信goroutines(程序并发执行) foo() //执行函数foo,程序等待函数foo...阅读全文

博文 2020-05-18 11:33:08 Sunshine_洋洋

Looking for a stereotypical/characteristic Go Web application (for a CI benchmark)

<p>Hello Go experts</p> <p>Last year I created a mega-post comparing most of the hosted CI companies (i.e. Travis and friends). This was received very well but a lot of people asked for some performance benchmarks (which I didn&#39;t have time to include at that time)</p> <p>This year I will update my comparison ...阅读全文

GO 里面的比较好用的一些工具方法【值得收藏】

今天在一个源码里面看到里面的 util 包,里面的好多的工具都是我们可以直接拿来使用的,之前没有这个习惯,所以每次就喜欢到处找。现在开始在这些源码里面去记录一下。方便日后的使用。 // 这里是引入的包 import ( "crypto/rand" "crypto/sha256" "crypto/md5" "encoding/base64" "encoding/hex" "errors" "golang.org/x/crypto/pbkdf2" "strings" "github.com/grafana/grafana/pkg/util/errutil" ) Encode 操作 // GetRandomString generate random string by specify chars...阅读全文

博文 2020-06-12 14:32:52 IT猿看视界

Prometheus 监控 k8s集群(配置监控自己)

本文介绍Prometheus 监控及在k8s集群中使用node-exporter、prometheus、grafana对集群进行监控。实现原理类似ELK、EFK组合。node-exporter组件负责收集节点上的metrics监控数据,并将数据推送给prometheus, prometheus负责存储这些数据,grafana将这些数据通过网页以图形的形式展现给用户。 Prometheus 监控 k8s集群(介绍) Prometheus 监控 k8s集群(配置监控自己) Prometheus 监控 k8s集群(集群部署) 一、安装Prometheus Server Prometheus基于Golang编写,编译后的软件包,不依赖于任何的第三方依赖。用户只需要下载对应平台的二进制包,解压并且添加...阅读全文

博文 2020-05-20 16:45:31 陈超同学

Golang 使用 Prpme

📡 ginpromPrometheus metrics exporter for Gin.Inspired by Depado/ginprom.🔰 Installation$ go get -u github.com/chenjiandongx/ginprom📝 UsageIt's easy to get started with ginprom, only a few lines of code needed.import ( "github.com/chenjiandongx/ginprom" "github.com/gin-gonic/gin" "github.com/prometheus/client_golang/prometheus/promhttp" ) func main()...阅读全文

博文 2019-08-20 10:22:50 chenjiandongx

Prometheus 监控 k8s集群(介绍)

一、介绍 本文介绍Prometheus 监控及在k8s集群中使用node-exporter、prometheus、grafana对集群进行监控。实现原理类似ELK、EFK组合。node-exporter组件负责收集节点上的metrics监控数据,并将数据推送给prometheus, prometheus负责存储这些数据,grafana将这些数据通过网页以图形的形式展现给用户。 1. 在开始之前有必要了解下Prometheus是什么? Prometheus (中文名:普罗米修斯)是由 SoundCloud 开发的开源监控报警系统和时间序列数据库(TSDB).自2012年起,许多公司及组织已经采用 Prometheus,并且该项目有着非常活跃的开发者和用户社区.现在已经成为一个独立的开源项目。P...阅读全文

基于DCGM和Prometheus的GPU监控方案

基于DCGM和Prometheus的GPU监控方案 背景: 在早期的GPU监控中我们会使用一些NVML工具来对GPU卡的基本信息进行采集,并持久化到监控系统的数据存储层。因为我们知道,其实通过nvidia-smi这样的命令也是可以获取到GPU的基本信息的,但随着整个AI市场的发展和成熟,对于GPU的监控也越来越需要一套标准化的工具体系,也就是本篇文章讲的关于DCGM相关的监控解决方案。 DCGM(Data Center GPU Manager)即数据中心GPU管理器,是一套用于在集群环境中管理和监视Tesla™GPU的工具。 它包括主动健康监控,全面诊断,系统警报以及包括电源和时钟管理在内的治理策略。 它可以由系统管理员独立使用,并且可以轻松地集成到NVIDIA合作伙伴的集群管理,资源调度和...阅读全文

博文 2020-04-05 20:32:49 BGbiao

大数据工程师技能总结

业务分层划分 边缘部分 数据收集,高效、不丢、资源消耗低、可审计监控 数据传输,域名、链路选择 数据开发,部分数据开发需要下沉到边缘 中央部分 通用基础设施 机器选型,针对不同服务选择合适的机型 集群搭建,选择合适的发行版本 配置管理,做到自动化下发配置,管理集群,服务 监控管理,监控大数据平台组建,为调优、扩容提供数据支撑 数据平台基础 数据接入,选择Flume,易扩展,方便接入各类数据 数据计算,选择Spark,MR 数据存储,Kafka、HDFS、HBase、ClickHouse、ES、Mongodb 计算管理,yarn进行计算资源管理 任务调度,选择azkaban 数据分析,hiveSQL、sparkSQL 数据管理 数据开发,工具封装、任务调度、测试等 数据仓库,ODS、DW(视情...阅读全文

博文 2020-01-08 19:32:48 x4passer

Java线程池监控预警实现

前言 在Java线程池的使用中,如何动态可视化监控线程池各项运行指标是一个比较重要的需求。 线程池监控必要性 如果你有以下需求,那么你可以尝试监控线程池。 为动态调优提供参考 规避风险 帮助定位问题以及运维 在日常开发中,当我们使用到线程池这一技术时,一般会选择动态配置参数的方式,或者是写死参数,并且提供修改参数的api进行调整。所以我们需要监控线程池的各项指标,结合性能分析,来进行调优决策。 除此之外,有一些场景会发生线程池相关问题,进一步引起rpc服务熔断降级,甚至不可用的情况。我们也可以通过配置线程池监控预警来进行人工介入,或者是通过一些规则自动调整,以规避风险发生。或者是已经发生的问题,我们通过监控辅助分析定位问题产生原因。 我在工作中就曾经遇到过各种各样的线程池问题,比较好玩的就比...阅读全文

博文 2020-05-13 03:32:45 但时间也偷换概念

Prometheus 监控案例

Prometheus 监控案例监控linux node_exporter 用于监控linux系统接口 使用golang编写 官网文档:https://prometheus.io/docs/guides/node-exporter/安装:wget https://github.com/prometheus/node_exporter/releases/download/v*/node_exporter-*.*-amd64.tar.gztar xvfz node_exporter-*.*-amd64.tar.gzcd node_exporter-*.*-amd64./node_exporter使用system的方式启动 [Unit]Description=PrometheusAfter=netw...阅读全文

博文 2020-06-23 14:33:04 October_Librae