2020-2021-2期末（回忆版）¶

2018级 A卷回忆版

我们的卷子，选择题，填空题，大题；选择填空的话，可能会考一题细节的东西，比如hadoop项目还是Flink啥的（记不太得）的前身是啥之类的，然后就是一些知识点，split，block啥的那些；大题的话，就可能会画架构图，然后分析一些东西之类的，比如用map reduce实现迭代和spark实现迭代的差别

批流融合基础¶

1. Lambda架构优缺点¶

优点：平衡了重新计算开销和需求低延迟的矛盾
缺点：
开发复杂：
- 分开编程
运维复杂：同时维护两套执行引擎

2. 批处理系统能否处理无界数据集？流处理系统能否处理有界数据集？¶

批处理系统也可以用于处理流数据；流计算系统也可以用于处理批数据，只不过性能无法达到预期。

例如spark Streaming就是用底层的spark批处理引擎来处理流数据。

3. 事件时间和处理时间¶

事件时间：该事件实际发生的事件(所在系统，可能是传感器等数据源)的当前时间
处理时间：一个事件在数据处理的过程中被数据处理系统观察到的时间。
事件时间永远不变，但是处理时间随着该记录在系统中被各个节点处理时而持续变化。

4. 水位线的含义是什么？水位线机制用于解决什么问题¶

解决问题：衡量处理时间和事件时间之间的差值。

含义：事件时间戳，

Screen Shot 2021-06-27 at 10.22.48

5.ParDo和GroupByKey实现列表求和¶

Flink¶

Stratosphere:批处理系统引入流水线方式进行数据传输
柏林大数据中心

设计思想¶

以刘计算为核心，将有界视为无界的特例

数据模型¶

	数据模型	有界无界	可变不可变	集合级别
MR		有界		记录
Flink	DataStream	无界	不可变	集合
Spark	RDD	有界	不可变	集合
Storm	Turple	无界		记录

计算模型¶

DataSource
Transformation
DataSink:标志着DAG的结束，Spark中Action表示最后一个

逻辑计算模型¶

Spark逻辑计算模型：1. Operator DAG 2. RDD Lineage

Flink逻辑计算模型:Operator DAG

为什么Flink没有RDD Lineage

物理计算模型¶

迭代模型¶

MR：每一次迭代结束，结果写入HDFS，下次再将该结果读出。迭代次数决定了MapReduce作业的个数。
Spark：每一次迭代结束生成一个RDD，就是下次的输入，spark迭代的RDD数据可以直接驻留在内存中。整个迭代可以是一个作业。整个迭代是一个spark应用
Flink: 系统提供迭代算子(编程时不需要使用for/while循环)。整个迭代可以是一个作业。

体系架构¶

客/主/从

Client:Flink程序->逻辑执行图(DAG)->优化后的逻辑执行图(Chaining优化，将窄依赖算子合并起来形成一个大算子).
JobManager(主节点):优化后的逻辑执行图->根据算子的并行度，物理执行图。物理执行图中的一个结点对应一个任务，将分配给TaskManager来执行。
TaskManager

Standalone模式¶

Screen Shot 2021-06-27 at 09.38.19

StandaloneSessionClusterEntrypoint: Flink系统的资源管理。
TaskManagerRunner: 所在节点的资源管理/执行任务：将资源抽象成若干个TaskSlot用于任务的执行。

对比Spark的Master/Worker¶

Screen Shot 2021-06-27 at 09.44.50

Screen Shot 2021-06-27 at 09.47.11

Screen Shot 2021-06-27 at 09.47.30

yarn模式¶

Screen Shot 2021-06-27 at 11.43.52

工作原理¶

Screen Shot 2021-06-27 at 11.57.34

Flink中的逻辑执行图和物理执行图分别是如何产生的？与Spark有何区别？

逻辑执行图：Client:用户程序->DAG->经过Chaining优化后的DAG；

物理执行图: JobManager收到Client提交的逻辑执行图，将逻辑执行图转化为物理执行图。

而spark中，是由driver自己完成了从用户程序到DAG，再从DAG到物理执行图的转换。

算子任务分配的原则：¶

考虑local(计算向数据靠拢)
数据shuffle的量要减少

非迭代任务之间的数据传输¶

shuffle是一种阻塞的数据传输的方式(map和reduce之间)，spark不同stage之间，位于上游的任务必须等到所有的记录都计算结束后再向下游任务传递数据。
消息传递是一种非阻塞的数据传输方式。
如果实现非迭代算子的任务位于不同的TaskManager,那么Flink将采用流水线机制进行数据交换。
Flink 流水线机制一次传递一个buffer.

Flink中非迭代任务间如何进行数据传输？与spark和storm有什么区别？

流水线机制，非阻塞，上游buffer满了或超时即输出到下游。

spark位于不同stage之间采用shuffle传输，shuffle是阻塞式的，必须等到上游所有的记录都计算结束后再向下游传递数据。

flink流水线机制和storm的区别在于，虽然二者都是非阻塞式的，但是数据传输的粒度不同，flink采用buffer，集合级别是集合，storm采用消息传递，一次传递一条记录。

Spark Pipeline v.s. Flink Pipeline¶

Flink Pipeline:不同Task之间的数据传输方式
Spark：同一个Task实现多个不同算子。

为什么Flink不能采用Lineage进行故障恢复？¶

Spark由于采用阻塞式的数据传输方式，根据一个完整的RDD计算得出另一个完整的RDD，因为RDD生成也是阻塞式的。Flink中的数据发送条件实际相当于一个不完整的DataStream产生另一个不完整的DataStream并且DataStream中的记录不断的发生变化。

Flink DataStream中数据的不完整和不断变化的特点导致了无法像RDD那样支持DataStream的持久化，Flink系统也无法像Spark那样利用RDD Lineage进行故障恢复。

迭代任务的数据传输¶

flink中迭代算子如何实现数据反馈？

迭代算子内部存在数据反馈的环路。

两类特殊的任务：迭代前端和迭代末端两类特殊的任务，同处于同一个TaskManager。

流式迭代的数据传输-每一轮迭代计算的部分结果：

迭代前端下一轮计算不依赖迭代末端在前一轮迭代得到的所有记录。

因为不依赖所有，所以就可以一部分，一部分这样:D

一部分：作为输出向后传递
一部分：另一部分的结果作为下一轮迭代计算的输入。

因为不用等待所有记录，所以流水线方式数据传输。

容错机制¶

“一满就传”

异步屏障快照算法¶

快照：检查点

通过在输入数据中注入屏障，并异步地保存快照，达到和保存同一时刻所有算子状态的目的。

屏障对齐：一个任务需收到来自上游任务中所有标识为n的屏障后才将其状态保存起来。

异步：某一任务将标识为n的屏障对齐后，可继续接受属于检查点n+1的数据。

故障恢复：选择最近完整的检查点n，将系统中每个算子的状态重置为检查点中保存的状态。

准确一次的容错语义

如果是迭代计算的容错，反馈环路中的所有记录都需要以日志的形式保存起来。

状态管理¶

Spark¶

spark由UCBerkeley的AM片实验室开发
基于内存计算->内外存同时使用。

1.MR的局限性（编程框架/作业执行/系统架构)¶

编程框架和作业执行

编程框架的表达能力有限
单个作业shuffle，阻塞传输，IO开销大
多个作业之间衔接涉及IO开销。

系统架构

资源管理和作业管理的紧密耦合(Hadoop1.0)
作业控制管理高度集中(Job Tracker单点故障)

Screen Shot 2021-06-27 at 18.22.41