Go语言中文网 为您找到相关结果 18 个

Elasticsearch系列（三） 实时同步mysql数据到Elasticsearch

mysql 作为成熟稳定的数据持久化解决方案，广泛地应用在各种领域，但是在数据分析、全文检索方面稍有不足，而 elasticsearch 作为数据分析领域的佼佼者，刚好可以弥补这项不足，而我们要做的只需要将 mysql 中的数据同步到 elasticsearch 中即可，今天介绍使用logstash将mysql数据全量导出到es，使用go-mysql-elasticsearch将mysql实时同步到es。 添加mysql测试数据 SET NAMES utf8; SET FOREIGN_KEY_CHECKS = 0; -- ---------------------------- -- Table structure for `movies` -- ----------------------...阅读全文

博文 2020-05-26 23:32:48 费墨c
阅读:22916次 评论:0条

阿里云专家为你解读安全管家服务

课程介绍 阿里云安全管家服务是阿里云安全专家基于阿里云多年安全最佳实践经验为云上用户提供的全方位安全技术和咨询服务，为云上用户建立和持续优化云安全防御体系，保障用户业务安全。 阿里云应急响应服务能够在您的系统遭受黑客攻击时提供快速、专业的应急处理，包括入侵行为排查、病毒木马查杀、入侵原因分析、入侵影响评估等；能够帮助客户正确应对黑客攻击，降低攻击带来的安全损失。 产品详情：https://www.aliyun.com/product/sos/ 课时列表 • 课时1：安全管家服务规格介绍 • 课时2：基础巡检功能介绍 • 课时3：如何使用应急响应服务 开始学习http://click.aliyun.com/m/27864/ ...阅读全文

主题 2017-10-17 06:05:47 mcy0425
阅读:5336次 评论:0条

golang 进程出现too many open files的排查过程

1. 现象 服务的cpu跑满(golang实现), 并大量报too many open files错误.服务使用systemd来运行,部署在阿里ecs上. 2.分析 从日志来看,cpu的上升主要为到达文件数限制引起的,但之前已经更改过系统的文件数及所有用户的文件数,按道理是不应该出现这个问题的,后来查阅资料发现,文件数可以从三个维度限制分别为操作系统限制,用户态限制,以及进程限制,对于这三个维度选取最小值生效.于是对系统进行分析. 首先查看当前打开文件数, 进程占用的文件数并不多. lsof -n|awk '{print $2}'|sort|uniq -c|sort -nr|more 然后获取系统级文件数限制 输入命令cat /etc/sysctl.conf得到fs.file-max = 1...阅读全文

博文 2016-10-11 09:00:11 u010511236
阅读:4007次 评论:1条

go语言:Eclipse与LiteIDE之间路径问题

今天做文件操作的时候,发现了一个路径问题. 当我在使用相对路径进行文件操作时(之前项目是用Eclipse写的),使用"./"得到的路径是基于GoPath的当前路径. 当我今天换成LiteIDE的时候,项目报错了.提示找不到文件,很纳闷找了半天,排查了半天发现,LiteIDE使用"./"是获取当前运行程序所在的当前路径. 与Eclipse环境恰恰相反...阅读全文

博文 2015-06-17 23:07:43 x369201170
阅读:1457次 评论:0条

11.蛤蟆笔记go语言——内存分配器

11.蛤蟆笔记go语言——内存分配器 内存分配器，又叫做MemoryAllocator. 核心：自主管理，缓存复用，无锁分配。 内存管理以页为基本单位，多个地址连续页构成内存块。 页是page, 连续页是span. 按 8 倍数，将小对象分成多种大小规格。size class. 三级管理机构 三级管理机构如下图1： 算法依赖连续地址，预留较大地址空间。如下图2： 按页保存 span指针。 反查 object 所属 span。 检查相邻 span 是否可合并。 快速分配，按需扩张。 如下图3： 垃圾回收 垃圾回收器引发回收操作。如下图4： 为管理对象分配内存，不占用预留地址 图5...阅读全文

博文 2016-06-19 23:00:01 notbaron
阅读:1098次 评论:0条

记录golang初始化mysql连接失败问题

package mysql import ( "database/sql" "fmt" _ "github.com/go-sql-driver/mysql" ) var ( db *sql.DB err error ) func init() { db, err = sql.Open("mysql", "root:123456@tcp(127.0.0.1:3306)/database?charset=utf8") if err != nil { panic(err.Error()) } db.SetMaxOpenConns(1000) err = db.Ping() if err != nil { fmt.Println("Failed to connect to mysql, err:" ...阅读全文

博文 2019-03-31 18:34:38 莫夏_b560
阅读:1008次 评论:0条

golang 服务大量 CLOSE_WAIT 故障排查

事故经过 排查 总结 事故经过 【2019-12-27 18:00 周五】业务方突然找来说调用我们程序大量提示“触发限流”，但是我们没有收到任何监控报警。紧急查看了下 ServiceMesh sidecar 代理监控发现流量持续在减少，但是监控中没有任何触发限流的 http code 429 占比，如果有触发限流我们会收到报警。 后来通过排查是程序中有一个历史限流逻辑触发了，但是程序中触发限流返回的 http code 是 200，这就完全避开了 sidecar http code 非200 异常指标监控报警。把代码中的限流阈值调了非常大的一个值，统一走 sidecar 限流为准。 猜测本次触发限流可能跟网路抖动有关系，网络抖动导致连接持续被占用，最终 qps 超过限流阈值。因为这个程序最近...阅读全文

博文 2020-01-26 23:33:41 王清培
阅读:926次 评论:0条

beego 1045错误

2018/06/07 16:16:14 INFO ▶ 0001 Using 'myapp' as 'appname' 2018/06/07 16:16:14 INFO ▶ 0002 Initializing watcher... 2018/06/07 16:16:38 SUCCESS ▶ 0003 Built Successfully! 2018/06/07 16:16:38 INFO ▶ 0004 Restarting 'myapp'... 2018/06/07 16:16:38 SUCCESS ▶ 0005 './myapp' is running... [ORM]2018/06/07 16:16:38 register db Ping `def...阅读全文

主题 2018-06-07 16:21:45 Ljfy
阅读:685次 评论:2条

折半查找算法的变形情况; 前后端各自有序，整体无序

``` package main import ( "fmt" ) // 一分为2， 肯定有一半是有序的 func BinarySearchDef(data []int, key int, low int, high int) int { if len(data) == 0 { return -1 } // 先找有序的一半，然后判定时候在该范围内， 注意临界值 for low <= high { mid := low + (high-low)/2 fmt.Println(mid) fmt.Println(data[mid]) if key == data[mid] { return mid } // 如果 key 比中间值小 if key < data[mid] { if key == da...阅读全文

博文 2018-06-29 15:00:00 wcz3043
阅读:413次 评论:0条

golang程序问题处理经验

1.在做内存问题相关的 profiling 时： 若 gc 相关函数占用异常，可重点排查对象数量 解决速度问题（CPU占用）时，关注对象数量（ --inuse/alloc_objects ）指标 解决内存占用问题时，关注分配空间（ --inuse/alloc_space ）指标 inuse 代表当前时刻的内存情况，alloc 代表从从程序启动到当前时刻累计的内存情况，一般情况下看 inuse 指标更重要一些，但某些时候两张图对比着看也能有些意外发现。 2.在日常 golang 编码时： 参数类型要检查，尤其是 sql 参数要检查（低级错误） 传递struct尽量使用指针，减少复制和内存占用消耗（尤其对于赋值给interface，会分配到堆上，额外增加gc消耗） 尽量不使用循环引用，除非逻辑真...阅读全文

博文 2019-08-03 22:32:39 凯文不上班
阅读:333次 评论:0条

 最新评论