flink实时规则营销系统(39期,2023版)

landmandw · · 131 次点击 · 开始浏览    置顶
这是一个创建于 的主题,其中的信息可能已经有所发展或是发生改变。

flink实时规则营销系统(39期,2023版) 学习地址1:https://pan.baidu.com/s/1Hk7bLCh3Gwl4s87f-Hm3XQ 提取码:6dhr 学习地址2:https://share.weiyun.com/cE3EUSA3 密码:chi9p6 flink实时规则营销系统(39期,2023版)——简单来说,本系统核心是一个基于事件驱动且可进行动态规则计算的实时系统,在技术上它是通用的;本套架构及系统内核,不仅可以用于“实时运营”,也可以用于“实时风控”,“实时推荐”,“实时交通监控”等场景。运营场景举例:下单促付款,新品发布信息精准送达。 本系统,在核心规则引擎之外,也集成了大量metric及跟踪数据输出,能在系统中及系统外进行多维度数据分析,以深度掌握各类市场运营活动的效果,以及系统运行的各类状态 什么是flink? flink是一个分布式,高性能,随时可用的以及准确的流处理计算框架,flink可以对无界数据(流处理)和有界数据(批处理)进行有状态计算(flink天生支持状态计算)的分布式,高性能的计算框架。 flink的基石 flink的四大基石:checkpoint,state,time,window checkpoint:基于chandy-lamport算法实现分布式计算任务的一致性语义; state:flink中的状态机制,flink天生支持state,state可以认为程序的中间计算结果或者是历史计算结果; time:flink中支持基于事件时间和处理时间进行计算,spark streaming只能按照process time进行处理; 基于事件时间的计算我们可以解决数据迟到和乱序等问题。 window:flink提供了更多丰富的window,基于时间,基于数量,session window,同样支持滚动和滑动窗口的计算。 Flink的应用 Flink 是一个大数据流处理引擎,它可以为不同的行业提供大数据实时处理的解决方案。随着 Flink 的快速发展完善,如今在世界范围许多公司都可以见到 Flink 的身影。 目前在全球范围内,北美、欧洲和金砖国家均是 Flink 的应用热门区域。当然,这些地区其实也就是 IT、互联网行业较发达的地区。 Flink 在国内热度尤其高,一方面是因为阿里的贡献和带头效应,另一方面也跟中国的应用场景密切相关。中国的人口规模与互联网使用普及程度,决定了对大数据处理的速度要求越来越高,也迫使中国的互联网企业去追逐更高的数据处理效率。试想在中国,一个网站可能要面对数亿的日活用户、每秒数亿次的计算峰值,这对很多国外的公司来说是无法想象的。而Flink 恰好给我们高速准确的处理海量流式数据提供了可能。 Flink环境部署: 要了解一个系统,一般都是从架构开始。我们关心的问题是:系统部署成功后各个节点都启动了哪些服务,各个服务之间又是怎么交互和协调的。 当 Flink 集群启动后,首先会启动一个 JobManger 和一个或多个的 TaskManager。由 Client 提交任务给 JobManager,JobManager 再调度任务到各个 TaskManager 去执行,然后 TaskManager 将心跳和统计信息汇报给 JobManager。TaskManager 之间以流的形式进行数据的传输。上述三者均为独立的 JVM 进程。 Client为提交 Job 的客户端,可以是运行在任何机器上(与 JobManager 环境连通即可)。提交 Job 后,Client 可以结束进程(Streaming的任务),也可以不结束并等待结果返回。 JobManager主要负责调度 Job 并协调 Task 做 checkpoint,职责上很像 Storm 的 Nimbus。从 Client 处接收到 Job 和 JAR 包等资源后,会生成优化后的执行计划,并以 Task 的单元调度到各个 TaskManager 去执行。 TaskManager在启动的时候就设置好了槽位数(Slot),每个 slot 能启动一个 Task,Task 为线程。从 JobManager 处接收需要部署的 Task,部署启动后,与自己的上游建立 Netty 连接,接收数据并处理。 本地模式环境部署步骤如下: # 1. 下载安装包并上传到/usr/local/src 目录 # 2. 解压安装包并重命名为flink [root<a href="/user/node" title="@node">@node</a> src]$ tar -zxf flink-1.14.4-bin-scala_2.12.tgz [root<a href="/user/node" title="@node">@node</a> src]$ tar -zxf jdk-8u111-linux-x64.tar.gz # 3. 修改安装包所属用户和用户组权限 [root<a href="/user/node" title="@node">@node</a> src]$ chown -R root.root flink-1.14.5 # 4. 配置Flink环境变量并重新加载使其生效 [root<a href="/user/node" title="@node">@node</a> src]$ vim ~/.bash_profile export JAVA_HOME=/usr/local/src/jdk1.8.0_111/ export FLINK_HOME=/usr/local/src/flink-1.14.5/ export PATH=$PATH:$JAVA_HOME/bin:$FLINK_HOME/bin [root<a href="/user/node" title="@node">@node</a> src]$ source ~/.bash_profile # 4. 启动"集群" [root<a href="/user/node" title="@node">@node</a> src]$ start-cluster.sh Starting cluster. Starting standalonesession daemon on host node. Starting taskexecutor daemon on host node. [root<a href="/user/node" title="@node">@node</a> src]$ jps 17186 Jps 17078 TaskManagerRunner 16809 StandaloneSessionClusterEntrypoint # 5. 访问WebUI界面8081端口查看运行情况 分发Flink安装包配置到另外两个节点 使用Linux scp命令把node01节点的配置分发到另外两个节点上。 # 使用 scp 分发 [root@node01 conf]$ cd /usr/local [root@node01 local]$ scp -r flink node02:/usr/local/ [root@node01 local]$ scp -r flink node03:/usr/local/ 启动Flink集群 # 批量统一启动 [root@node01 bin]$ start-cluster.sh Starting cluster. Starting standalonesession daemon on host node01. Starting taskexecutor daemon on host node01. Starting taskexecutor daemon on host node02. Starting taskexecutor daemon on host node03. # 单独启动 [root@node01 bin]$ jobmanager.sh start / stop [root@node01 bin]$ taskmanager.sh start / stop # 使用脚本查看服务进程 [root@node01 bin]$ jps

有疑问加站长微信联系(非本文作者)

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

131 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传