Flink与Spark Streaming区别

发布时间:2021-07-20 04:37:46

Flink 是标准的实时处理引擎,基于事件驱动。而 Spark Streaming 是微批(Micro-Batch)的模型。
主要包括如下区别:


    架构模型Spark Streaming 在运行时的主要角色包括:Master、Worker、Driver、Executor,Flink 在运行时主要包含:Jobmanager、Taskmanager和Slot。任务调度Spark Streaming 连续不断的生成微小的数据批次,构建有向无环图DAG,Spark Streaming 会依次创建 DStreamGraph、JobGenerator、JobScheduler。Flink 根据用户提交的代码生成 StreamGraph,经过优化生成 JobGraph,然后提交给 JobManager进行处理,JobManager 会根据 JobGraph 生成 ExecutionGraph,ExecutionGraph 是 Flink 调度最核心的数据结构,JobManager 根据 ExecutionGraph 对 Job 进行调度。时间机制Spark Streaming 支持的时间机制有限,只支持处理时间。 Flink 支持了流处理程序在时间上的三个定义:处理时间、事件时间、注入时间。同时也支持 watermark 机制来处理滞后数据。容错机制对于 Spark Streaming 任务,我们可以设置 checkpoint,然后假如发生故障并*簦颐强梢源由洗 checkpoint 之处恢复,但是这个行为只能使得数据不丢失,可能会重复处理,不能做到恰好一次处理语义。Flink 则使用两阶段提交协议来解决这个问题。

相关文档

  • 莫纳什大学留学需要准备什么
  • 笔记本有杂音怎么办
  • 高德地图离线包怎么用
  • 白杨礼赞好词好句
  • 网站广告位租赁合同范本
  • 秋恋
  • 安卓最好的浏览器_Wow!来自印度的操作系统,Prime OS X86安卓体验
  • 广安市一共多少个乡镇
  • 记忆力的差要怎么调理
  • 成长路上满花香作文
  • 我的电脑xp进入不了怎么办
  • 脚踏实地最可贵童话作文
  • 1CENT什么意思
  • Active Directory 安装停滞在
  • 认识角教学反思 认识角教学反思
  • c++中的多态性
  • gplt天梯赛L2-2 发口罩详解
  • 充满正能量的早安心语
  • 最新铁路实习报告3000字
  • Maven- 自动导入包的方法-很多没有导入的类,如何处理
  • 规范行业渠道 倡导诚信经营 倡导诚信经营的宣传语
  • 那一刻我胜利了作文500字
  • iframe标签的高度怎么样才能自适应src的页面
  • 悦木之源洗面奶没有泡沫吗悦木之源洗面奶有封口吗
  • 软件项目周报_周报49期 | SMART PLC/S71200PLC通讯等常见问题解答
  • 给白血病病友的营养餐单 脐血移植成白血病救命机会
  • 《城南旧事》读后感四百字
  • 学习语文的方法和技巧
  • 描写荷花的短篇散文随笔
  • stl中remove和erase的区分
  • 猜你喜欢

  • 2018-2019年承德市围场满族蒙古族自治县克勒沟学区中心校三年级上册科学模拟期末考试无答案
  • 2018版高考英语一轮复* 第2部分 专题9 并列句与状语从句即学巩固
  • 关于西方哲学的经典论文
  • 餐饮业食品安全管理体系一分析PPT课件
  • 有关初一体育教学计划范文2000字
  • 初中作文 花开的声音(三) 简单的幸福-精品
  • 陈家?小学2007年暑假师德师风建设周总结
  • 通信原理樊昌信第六版第1章
  • 浅析公路路基施工管理要点及管理对策
  • 富海能源服务连锁有限公司夏津加油站企业信用报告-天眼查
  • 宁夏超凡工贸有限公司(企业信用报告)- 天眼查
  • 达州市通川区宏达门窗加工经营部(企业信用报告)- 天眼查
  • 基于PCA和LDA结合的人脸识别方法的比较研究
  • 浙教版八年级上册科学习题课件:第4章 第7节第2课时并联电路的分析和应用
  • 施工安全保证体系包括( )。 A.施工安全的组织保证体系B.施工安全的
  • 很经典的简单个性签名
  • 七年级语文下册第一单元3回忆鲁迅先生节选*题新人教版
  • 安掌门一刀一个三星叛徒
  • 【免费下载】02认识Excel
  • (通用版)2020版高考化学大一轮复*第6章化学反应与能量第19讲化学能与热能课件新人教版
  • 凝汽器灌水试验检查签证表
  • 积极利用广交会*台创新职业院校国际贸易项目教学
  • 石家庄荣瀚贸易有限公司企业信用报告-天眼查
  • 节约用水倡议书400字范文
  • 【卓顶精文】2019学校用字规范化的相关制度和要求.doc
  • 广东巽寮湾滨海度假区发展模式研究
  • LED庭院灯项目立项申请报告
  • 第七章静定结构总论-文档资料
  • 广州潮牛有范餐饮管理有限公司企业信息报告-天眼查
  • 大数据库的相似记录检测方法研究
  • 宝鸡东方舞韵文化传媒有限公司企业信用报告-天眼查
  • 通辽地区甜菜最适种植密度分析
  • 小学三年级数学下册期末达标测试练习题
  • 为什么ip地址为000
  • 青岛海陆通工程劳务建设有限公司企业信用报告-天眼查
  • 江苏南通:解决登记问题有良策
  • 操刀伤锦的成语故事
  • 乘风破浪的寓言故事
  • 医院能源审计报告范本
  • 山西省二级建造师《建设工程施工管理》试卷(I卷)(含答案)
  • 云南省昆明市2018年中考英语总复*第二部分语法专题研究专题十四复合句课件
  • 加强农村集体经济管理 提高经济实力
  • 电脑版