因为平时管理的web服务器都是VM服务器，为节省硬盘空间，一般给虚拟机分配的硬盘空间都比较小，只有8G，因为，保存不了多少日志，所以每天都需要把每台WEB日志转移到一个硬盘比较大的服务器上，然后再使用NBU集中备份，本程序主要使用go语言实现实现将web日志通过FTP自动上传FTP服务器，使用了filepath.Walk遍历日志目录及第三方纯go库“github.com/jlaffaye/ftp”，而日志VM本地存储路径格式是 /var/log/weblog/www.domainName.com/month/20140616.access.log， ftp库下载地址 http://godoc.org/github.com/jlaffaye/ftp#ServerConn.Stor // upl...阅读全文
需求是这样的，想远程执行这个命令，返回各个硬盘分区的剩余空间的大小，当然，剩余空间太小可能就要处理了。 package main import ( "fmt" "syscall" // "strings" gofstab "github.com/deniswernert/go-fstab" ) type DiskStatus struct { All uint64 `json:"all"` Used uint64 `json:"used"` Free uint64 `json:"free"` } const ( B = 1 KB = 1024 * B MB = 1024 * KB GB = 1024 * MB ) // disk usage of path/disk func DiskUsa...阅读全文
今年一咬牙入手了台Macbook Pro，操作系统为Sierra，其他都还满意，无奈当时为节约成本硬盘配置只有128G。一般来讲，128G对于上网、娱乐以及编程够用，但是工作上需要安装visual studio开发环境，虽然vs2017也提供了mac版，实在是不喜欢mac vs的风格。接下来有两个选项： 安装虚拟机 在虚拟机里配置win10，然后安装vs，但是有个问题，虚拟机虽然切换比较方便，对资源比如内存的占用不可不忽视，作为入门级的macbook还是要慎重； 安装双系统 安装双系统，苹果公司已经考虑到windows的强势，主动提供了安装工具bootcamp助理，可以将win10安装在本地，启动时选择运行mac还是win10，但是问题还是自带硬盘太小，装完win10后所剩无几。 自然而然想...阅读全文
问题背景 某天打开 Jaeger UI 后，发现里面没有任何数据了，这是个奇怪的问题。 然后立马上服务器检查了 jaeger-collector, jaeger-agent, jaeger-query 和 Elasticsearch 的服务进程、端口及网络通信。所有一切都正常。 然后进一步排查数据流向问题，通过排查 jaeger-collector 日志，发现 jaeger-agent -> jaeger-collector 之间的数据传输没有问题。 而 jaeger-collector -> ES 之间数据传输时报错了。错误如下： {"level":"error","ts":1576483292.2617185,"caller":"config/config.go:130","msg":"...阅读全文
由于自己的PC笔记本，用的是可怜的120G SSD硬盘，相对于现在浩瀚无比的WIN7，VS ，硬盘空间少的可怜，经常导致硬盘空间不足。没办法，每次都人肉清除临时文件比如 VS编译时，生成的.obj文件 连接时生成的.pdb文件还有就是，VS2010引入的为了提高智能提示而生成的.sdf文件。 所以想到用程序自动实现这个功能，刚好正在学习go语言，全当练手了。 程序很简单，就是从某个目录递归开始，删除某些类型的文件 //My first go little program that clean dirty files for vs package main import ( "fmt" "os" "path" "strings" ) var FileTypes2Clean = []string...阅读全文
不同宿主机镜像cp 1 docker save -o golang:alpine3.7 ./my-golang-alpine3.7.tar //把我本机的golang:alpine3.7 镜像保存为当前目录下的归档文件my-golang-alpine3.7.tar ，然后把此归纳文件拷贝到任意你想要的地方（比如 u盘 移动硬盘 电脑等） 2 在需要还原docker image的主机执行：sudo docker load < my-golang-alpine3.7.tar （宿主机必须装有docker） 容器和主机传输文件 1.docker cp RS-MapReduce 30026605dcfe:/home/cloudera 2.docker cp 30026605dcfe:/home/cl...阅读全文
Gokrazy 是用于树莓派上的一个小型 Linux 系统。长期以来我们因为在不同的树莓派上的 Linux 分发版维护带来的安全问题备受困扰。然后我们有了一个疯狂的想法，是否可以抛弃所有我们并不怎么需要的内存不安全的语言和软件。实际证明这个想法是可行的，于是就有了 Gokrazy。 Gokrazy 使用如下分区表...阅读全文
获得当前分区空间大小 package main import ( "fmt" "syscall" ) type DiskStatus struct { All uint64 `json:"all"` Used uint64 `json:"used"` Free uint64 `json:"free"` } // disk usage of path/disk func DiskUsage(path string) (disk DiskStatus) { fs := syscall.Statfs_t{} err := syscall.Statfs(path, &fs) if err != nil { return } disk.All = fs.Blocks * uint64(fs.Bsize...阅读全文
 partitioned by(year int,month int) row format delimited fields terminated by '\t'; ##加载数据指定分区 load data local inpath '/root/Desktop/...阅读全文
安装环境为Ubuntu 18.04.2 LTS 系统要求 140MB硬盘空间， 安装依赖 sudo apt-get update && sudo apt-get install -y \ build-essential \ uuid-dev \ libgpgme-dev \ squashfs-tools \ libseccomp-dev \ wget \ pkg-config \ git \ cryptsetup-bin GO 安装 singularity使用Go编写，需要安装Go 在https://golang.org/dl/ 下载合适版本的Go至 /usr/local。singularity3.0以上的版本需要下载Go 1.13以上的版本。下载完成后： cd /usr/local sud...阅读全文
RabbitMQ的安装官网：http://www.rabbitmq.com安装地址：http://www.rabbitmq.com/download.htmlRabbitMQ的go语言驱动：https://github.com/streadway/amqpHello，World!假设你已经安装好了RabbitMQ，并且已经安装好了rabbitMQ的golang驱动，接下来我们开始我们的"hello,world!”这里我们写两个小程序，一个作为Message的Producer，一个作为Message的Consumer，它们的关系如下： P代表Producer，C代表Consumer，中间红色的部分就是queue，它是RabbitMQ维持的与C之间的一个消息缓冲区。现在我们开始写一个Messag...阅读全文
背景 菜鸟末端轨迹项目中涉及的一个关键需求，面面判断。 在数据库中存储了一些多边形记录，约几百万到千万条记录，例如一个小区，在地图上是一个多边形。 不同的快递公司，会有各自不同的多边形划分方法（每个网点负责的片区(多边形)，每个快递员负责的片区(多边形)）。 用户在寄件时，根据用户的位置，查找对应快递公司负责这个片区的网点、或者负责该片区的快递员。 一、需求 1、在数据库中存储了一些静态的面信息，代表小区、园区、写字楼等等。所有的面不相交。 2、为了支持不同的业务类型，对一个地图，可能划分为不同的多边形组成。 例如不同的快递公司，会有各自不同的多边形划分方法（网点负责的片区(多边形)，某个快递员负责的片区(多边形)）...阅读全文
作者：低至一折起来源：juejin.im/post/5b7d52afe51d453885030b91当MySQL单表记录数过大时，增删改查性能都会急剧下降单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候 MySQL 单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量。字段尽量使用 TINYINT、 SMALLINT、 MEDIUM_INT 作为整数类型而非 INT，如果非负则加上 UNSIGNEDVARCHAR 的长度只分配真正需要的空间使用枚举或整数代替字符串类型尽量使用 TIMESTAMP 而非 DATETIME单表不要有太多...阅读全文
学习Linux运维的时候，一些盆友总会遇到些问题，他们或是翻阅各类书籍，或是经过搜索各类搜索引擎，或是各种讨论群组，或是各类论坛，通过各式各样的方法来解决着自己面临的学习问题。而学习Linux，重要的便是打好基础，正所谓“基础不牢，地动山摇”。而Linux命令便是这基础中重要的一环了。今天就了解下chattr命令。chattr [+-=] [ASacdistu] 文件或文件名命令选项：+ : 增加某个特殊参数，其他原本存在的参数不动。- : 删除某个特殊参数，其他原本存在的参数不动。= : 设置一定，且仅有后面接的参数A : 当设置了A属性时，这个文件(或目录)的存取时间atime(access)将不可被修改，可避免例如手提电脑有磁盘I/O错误的情况发生。S : 这个功能有点类似sync。就...阅读全文
摘要： 创建数据集是报表分析的基础，合理建模可以达到事半功倍的效果哦！ 产品核心流程第二步为创建数据集，进行数据建模，如果说数据是海，那么创建数据集并合理建模就是划船的浆，有了浆才能在数据的海洋里畅游。目前创建数据集有两种方式：（1）数据表直接创建数据集 （2）通过自定义sql创建数据集，以实现初步建模。 **创建数据集：** （1）直接新建数据集： 如下图，在数据源列表页，找到目标表，点击创建数据集按钮并选择存放文件夹 即可新建，新建后自动进入数据集界面。  partitionedby(yearint,monthint) rowformatdelimitedfieldsterminatedby'' ; ##加载数据指定分区 loaddatalocalinpath'/root/Desktop/student.txt'intotabl...阅读全文
