InfluxDB

voidFan · · 118 次点击 · · 开始浏览    

什么是influxdb

    InfluxDB是基于Golang编写的一个用于存储和分析时间序列数据的开源数据库。

主要特性有:

安装简单,无外部依赖,底层采用TSM存储并且读写数据很高效;

内置HTTP接口,使用方便

数据可以打标记,查让查询可以很灵活

类SQL的查询语句

能够实时查询,数据在写入时被索引后就能够被立即查出

……


基本概念介绍

timestamp:

每一条数据都需要指定一个时间戳,这个时间戳以RFC3339格式展示了与特定数据相关联的UTC日期和时间(当然也是可以修改的)。在 TSM 存储引擎中会特殊对待,以为了优化后续的查询操作。

[if !vml]

[endif]

database: 数据库名,在InfluxDB 中可以创建多个数据库,不同数据库中的数据文件是隔离存放的,存放在磁盘上的不同目录。

retention Policy:

存储策略,用于设置数据保留的时间,每个数据库刚开始会自动创建一个默认的存储策略 autogen,数据保留时间为永久,autogen中的数据永不删除且备份数replication为1(只有一份数据,在集群中起作用)。之后用户可以自己设置,例如保留最近2小时的数据。插入和查询数据时如果不指定存储策略,则使用默认存储策略,且默认存储策略可以修改。InfluxDB会定期清除过期的数据。

measurement:

是一个容器,包含了列(timestamp,filed,tag set)。类似传统数据库的表,例如cpu_usage_table 表示 cpu 的使用率。

tag set:

不同的每组tag key和tag value的集合,如图location = 1, scientist = langstroth 。tags 在 InfluxDB 中会被建立索引,且放在内存中。如果某种数据经常用来被作为查询条件,可以考虑设为Tag。(为了解决海量数据查询,建索引)

series: series是共同retention

policy,measurement和tag set的集合。

[if !vml]

[endif]

field:

记录值,是查询的主要对象,例如value值等

point:

代表一条记录,point是具有相同timestamp、相同series(measurement,rp,tag set相同)的field。这个点在此时刻是唯一存在的。

专业术语介绍

batch

continuous queryCQ:

retention policy(RP) InfluxDB数据结构的一部分,描述了InfluxDB保存数据的长短(duration),数据存在集群里面的副本数(replication

factor),以及shard group的时间范围(shard group duration)。RPs在每个database里面是唯一的,连同measurement和tag set定义一个series。

当你创建一个database的时候,InfluxDB会自动创建一个叫做autogen的retention policy,其duration为永远,replication factor为1,shard group的duration设为的七天。

duration: retention policy中的一个属性,决定InfluxDB中数据保留多长时间。在duration之前的数据会自动从database中删除掉。

function:包括聚合、查询和转换。

 https://docs.influxdata.com/influxdb/v1.5/query_language/functions/

line protocol写入InfluxDB时的数据点的文本格式。如:cpu,host=serverA,region=us_west

value=0.64

identifier :涉及continuous

query的名字,database名字,field keys,measurement名字,retention policy名字,subscription 名字,tag keys以及user 名字的一个标记。

metastore :包含了系统状态的内部信息。metastore包含了用户信息,database,retention policy,shard metadata,continuous query以及subscription。

node :一个独立的influxd进程。

now() :本地服务器的当前纳秒级时间戳。

query :从InfluxDB里面获取数据的一个操作

replication factor :retention policy的一个参数,决定在集群模式下数据的副本的个数。InfluxDB在N个数据节点上复制数据,其中N就是replication factor。

schema :数据在InfluxDB里面怎么组织。InfluxDB的schema的基础是database,retention

policy,series,measurement,tag key,tag value以及field keys。

series cardinality :在InfluxDB实例上唯一database,measurement和tag set组合的数量。

values per second

wal(Write Ahead Log)

user

tsm(Time Structured Merge tree)

subscription

server

shard

shard duration

shard group


InfluxDB常用函数

[if !supportLists]1)     [endif]count()函数返回一个(field)字段中的非空值的数量。

SELECT COUNT(field) FROM measurements

[if !supportLists]2)     [endif]DISTINCT()函数返回一个字段(field)的唯一值。

[if !supportLists]3)     [endif]MEAN() 函数返回一个字段(field)中的值的算术平均值(平均值)。字段类型必须是长整型或float64。

[if !supportLists]4)     [endif]MEDIAN()函数从单个字段(field)中的排序值返回中间值(中位数)。字段值的类型必须是长整型或float64格式。

[if !supportLists]5)     [endif]SPREAD()函数返回字段的最小值和最大值之间的差值。数据的类型必须是长整型或float64。

[if !supportLists]6)     [endif]SUM()函数返回一个字段中的所有值的和。字段的类型必须是长整型或float64。


[if !supportLists]7)     [endif]BOTTOM()函数作用:返回一个字段中最小的N个值。字段类型必须是长整型或float64类型。

[if !supportLists]8)     [endif]FIRST()函数作用:返回一个字段中最老的取值。

[if !supportLists]9)     [endif]LAST()函数作用:返回一个字段中最新的取值。

[if !supportLists]10)  [endif]MAX()函数作用:返回一个字段中的最大值。该字段类型必须是长整型,float64,或布尔类型。

[if !supportLists]11)  [endif]MIN()函数作用:返回一个字段中的最小值。该字段类型必须是长整型,float64,或布尔类型。

[if !supportLists]12)  [endif]PERCENTILE()函数作用:返回排序值排位为N的百分值。字段的类型必须是长整型或float64。百分值是介于100到0之间的整数或浮点数,包括100。


[if !supportLists]13)  [endif]DERIVATIVE()函数作用:返回一个字段在一个series中的变化率。InfluxDB会计算按照时间进行排序的字段值之间的差异,并将这些结果转化为单位变化率。其中,单位可以指定,默认为1s。

[if !supportLists]14)  [endif]DIFFERENCE()函数作用:返回一个字段中连续的时间值之间的差异。字段类型必须是长整型或float64。

[if !supportLists]15)  [endif]ELAPSED()函数作用:返回一个字段在连续的时间间隔间的差异,间隔单位可选,默认为1纳秒。

[if !supportLists]16)  [endif]MOVING_AVERAGE()函数作用:返回一个连续字段值的移动平均值,字段类型必须是长整形或者float64类型。

[if !supportLists]17)  [endif]NON_NEGATIVE_DERIVATIVE()函数作用:返回在一个series中的一个字段中值的变化的非负速率。

[if !supportLists]18)  [endif]STDDEV()函数作用:返回一个字段中的值的标准偏差。值的类型必须是长整型或float64类型。



-- 查看所有的数据库showdatabases;-- 使用特定的数据库usedatabase_name;-- 查看所有的measurementshowmeasurements;-- 查询10条数据select*frommeasurement_namelimit10;-- 数据中的时间字段默认显示的是一个纳秒时间戳,改成可读格式precisionrfc3339;-- 之后再查询,时间就是rfc3339标准格式-- 或可以在连接数据库的时候,直接带该参数influx-precisionrfc3339-- 查看一个measurement中所有的tag key showtagkeys-- 查看一个measurement中所有的field key showfieldkeys-- 查看一个measurement中所有的保存策略(可以有多个,一个标识为default)showretention policies;


有疑问加站长微信联系(非本文作者)

本文来自:简书

感谢作者:voidFan

查看原文:InfluxDB

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:1006366459

118 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传