业务分层划分
-
边缘部分
- 数据收集，高效、不丢、资源消耗低、可审计监控
- 数据传输，域名、链路选择
- 数据开发，部分数据开发需要下沉到边缘
-
中央部分
-
通用基础设施
- 机器选型，针对不同服务选择合适的机型
- 集群搭建，选择合适的发行版本
- 配置管理，做到自动化下发配置，管理集群，服务
- 监控管理，监控大数据平台组建，为调优、扩容提供数据支撑
-
数据平台基础
- 数据接入，选择Flume，易扩展，方便接入各类数据
- 数据计算，选择Spark，MR
- 数据存储，Kafka、HDFS、HBase、ClickHouse、ES、Mongodb
- 计算管理，yarn进行计算资源管理
- 任务调度，选择azkaban
- 数据分析，hiveSQL、sparkSQL
-
数据管理
- 数据开发，工具封装、任务调度、测试等
- 数据仓库，ODS、DW(视情况细分为DWD,DWS)、DM(亦或者为ADS)
- 数据治理，元数据管理、数据质量管理
-
数据使用
- 数据查询，提供给运维
- 数据运营，提供给项目
- 数据报表，提供给老板
- 数据API，提供给客户
-
平台建设总结
-
边缘
- Flume、FileBeat的收集传输数据
- 做好监控，保障不丢数据，延迟低，资源消耗可控
-
中央
-
通用基础设施
- 了解硬件选型需要注意的问题点，选择合适的硬件
- 针对不同的服务，做合适的系统配置优化
- 熟练掌握大数据集群的搭建，并结合ansible做到近100%的自动化创建、管理、维护
- 采用Telegrafa、influxdb、grafana，监控内部大数据集群和spark等计算状态信息
-
数据平台基础
- 数据接入
- 代理层，采用Haproxy，4层代理，可以在升级后端时，选择性的摘除backend
- 接收层，采用flume，研读过Flume的Memory channel代码，开发过Flume插件
- 数据计算
- 涉及流数据开发、离线统计开发，涵盖实时监控、通用用户数据统计、特殊客户需求开发等多方面，
- 对计算进行了二次封装，该工具计算采用spark，配置采用yaml，配置后提交azkaban调度，完成计算需求，支持流和文件两大类输入，支持多种存储输出，大大提升了计算开发
- ETL相关，该部分主要涉及到ODS、DW、DM之间数据的流动，主要是用hivesql，调度采用azkaban，hivesql 底层引擎测试过tez，部分job 使用该引擎
- 数据存储
- kafka，作为日志消息队列，深度了解kafka，熟悉kafka读写过程，针对kafka做过大量的调优
- HDFS，ODS、DW的存储介质，了解HDFS的内部机制，内部HDFS的维护者，HDFS存储的数据为parquet格式，计算效率高，方便和Hive结合
- DB存储，HBase 作为海量OLTP存储，有很高效的写入性能，略微可以的查询性能，部分高度聚合的专用数据存储在HBase中；ClickHouse 作为一款优秀MPP架构的OLAP 数据库支持实时写入，查询聚合能力极强，并发略低，用于各类多维不确定数据分析存储；ES 检索能力，多维查询能力很棒，是部分特殊日志的存储介质，可以方便查询和画图
- 计算资源管理
- yarn，目前大数据集群最大的占有，数量的掌握yarn计算资源调度管理，针对不同部分，配置不同的队列，进行资源隔离，并且鉴于不用时段任务状态各异，会动态的调整yarn各个队列的capacity
- 任务调度
- 目前较为常用的是azkaban、airflow，我们选择了azkaban，用它来调度hive，spark，mr等，内置了多种job type，方便易用
- 数据分析
- 临时需求，使用的是hivesql／spark sql，查询的数据涉及DM、DW或者ODS，视穿透情况而定；
- 通用需求，使用的是封装的计算工具，一般涉及到数据的输出
- 数据接入
-
数据管理
- 数据开发套件，目前还比较简陋，但是可以方便快捷的将计算开放给使用方，简单配置即可进行数据开发
- 离线数据仓库
- ODS层，数据接入统一以parquet的格式持久化到HDFS形成ODS，根据内外部需求开发ETL，将ODS数据转化写入DW，ODS层数据保存至少6个月
- DW层，目前根据量级和数据复杂度划分为一层或者两层，数据量小且计算频次低，则这部分业务只有DWS层；针对一些负责多维的数据，增加一层通用聚合层DWD层，形成数据宽表，为DWS层服务；DW数据保存1-3年
- DM(亦或者为ADS)层，则是最终数据提供层，高度聚合数据存储到hbase或者hdfs，对于维度较多，查询不太确定的数据存储到clickhouse，永久保存，对于过老的数据，可以同步到廉价存储进行保存
- 实时数据仓库
- DW层，通用聚合层DWD层，存储数据到kafka；DW数据保存1-3天
- DM(亦或者为ADS)层，则是最终数据提供层，实时消费kafka计算写入，高度聚合数据存储到hbase或者hdfs；对于维度较多，查询不太确定的数据存储到clickhouse
- 数据治理
- 元数据管理，目前比较简陋，wiki记录或者gafana查询平台选择对应数据源
- 数据质量管理，目前采用边缘独立计算和中央抽样实时计算进行实时对比，结果集成在grafana
-
数据使用
- 数据查询，需求方为运维，提供的工具有命令行查询工具、勾选式查询平台、kibana查询平台
- 数据运营，需求方为项目，提供勾选式查询平台
- 数据报表，需求方是项目或者客户，对内提供勾选式查询平台；对外提供API查询；或者自动化报表生成发送
- 数据API，需求方是客户，提供形式是API服务
-
个人技能总结
-
通用基础设施
- 熟悉硬件选型，完成过多种服务的硬件选型，曾在单一服务优化中成本提升7%，单机性能提升50%
- 优秀的运维技能，发现并排查到一个系统内核bug
- 熟练掌握大数据集群的搭建，并结合ansible做到近100%的自动化创建、管理、维护
- 采用Telegrafa、influxdb、grafana，监控内部大数据集群和spark等计算状态信息
- 大数据配套组件，引入过azkaban调度平台、dr-elephant等
-
数据平台基础
- 数据接入
- 熟悉flume开发，研读过Flume的Memory channel、kafkasink 等多个核心组件的代码，开发过Flume interceptor插件
- 数据计算
- 涉及流数据开发、离线统计开发，涵盖实时监控、通用用户数据统计、特殊客户需求开发等多方面，熟练掌握spark、hive、mr
- 语言涉及java、golang、scala
- 为了方便计算封装了一个通用计算工具，提升了开发效率
- 开发过IP转换的hive UDF模块
- 数仓建设
- 做过简单的数仓分层建设、建表规范话、etl规范化等
- 数据存储
- kafka，熟练掌握kafka，作为ODS数据前置日志队列和实时计算存储，了解过部分组件的代码，内部解决过kafka出现的各类问题
- HDFS，熟练掌握HDFS的搭建、维护，深入了解过hdfs读写、高可用、配置优化等
- 数据格式，大量使用过parquet，测试使用过orc，carbondata，了解avro、thrift等rpc格式，开发过filebeat的thrift output，对接flume 的thrfit source
- DB存储
- Mysql，数据迁移、分区表、更换引擎、数据备份、读写分离、主从同步
- MongoDB，数据迁移、数据备份、部分小优化
- Hbase，结合phoenix使用，了解hbase底层原理，做过hbase的深度测试调优
- Clickhouse，了解使用过clickhouse多个mergeTree 引擎，打架维护过两大通用集群架构
- ES，熟悉ES 上下游组件，熟练掌握logstash、hangout等数据写入工具
- 其他调研了解，仅搭建使用，了解了大概
- prestodb
- kudu
- carbondata
- Maxwell & canel
- 数据接入
-
数据使用
- 简陋版统一数据查询平台，基于grafana simple-json-datasource做数据源开发
- 尝试过superset和zepplin场景不太适用，放弃了
-
开发技能
- 熟练掌握java，golang开发，了解scala，学习过akka
- 熟悉了解JVM，JMM相关知识
- 熟悉了解golang gpm和内存管理相关知识
- 熟练掌握hive SQL，spark 开发，FLume开发，MR开发
有疑问加站长微信联系（非本文作者）
