2022-2023-2期末B卷¶
2020级 B卷
一、单项选择题(每题2分,共10分)¶
-
Apache Hadoop 项目最初是由( )发起的。 A. UC Berkeley B. Yahoo! C. TU Berlin D. MIT
-
以下哪个系统提供数据存储功能( ) A. HDFS B. ZooKeeper C. Yarn D. MapReduce
-
基于( )系统可以编写迭代计算程序。 A. Spark B. MapReduce C. Flink D. 以上答案都对
-
以下哪个系统最适合用作流计算系统( ) A. MapReduce B. HDFS C. Flink D. Spark
-
分布式计算系统能够支持的功能是( ) A. 数据处理 B. 数值计算 C. 深度学习 D. 以上答案都对
二、判断题(每题1分,共10分,对的打√,错的打×)¶
- 由于 MPI具有备容错功能,可以用于分布式计算。( )
- 在Spark 的Shuffle 过程中,ShuffleMapTask 将计算结果输出到HDFS,然后下游计算任务再从HDFS 读取数据进一步计算。( )
- HDFS 可以支持任意的文件操作。( )
- 虽然 Flink 是流计算系统,但是也可以用于批处理。( )
- RDD 可以进行一系列的转换,是支持容错的数据集合。( )
- MapReduce 中的 TaskTracker 负责执行任务。( )
- Flink 可以调用DataStream 的checkpoint 方法来保存。( )
- Flink 中的算子状态记录的是该算子是否处于活跃或者故障情形。( )
- Yarn 是 Hadoop 项目的一部分,仅支持 MapReduce 应用。( )
- 第二代 MapReduce 引入了Driver,实现了作业管理和资源管理之间的相互分离。( )
三、填空题(每空2分,共20分,中英文作答均可)¶
- 利用 MapReduce 编写WordCount时,可以采用____加快执行速度。
- 在 Spark Standalone 部署架构中,作为从节点的部件的名称是____。
- Yarn 中容器封装了_、_等计算资源。
- Spark 系统采用____表达计算模型。
- HDFS 中_负责记录文件目录结构,_负责存储数据。
- Flink 采用____算子支持迭代操作。
- Flink 的逻辑执行图优化由_完成,采用_机制进行算子合并。
四、简答题(共30分,需用连贯通顺的语句作答)¶
- (6分)相比于MPI,MapReduce 存在哪些优势?
- (6分)Spark Stage 内部采用了流水线机制,而Flink也采用了流水线机制,二者之间有何不同?
- (10分)Spark 和 Flink 二者在容错机制上有很大差异, a) Spark 如何进行容错保障?(3分) b) 简述 Flink 分布式快照机制的原理。(3分) c) 为什么 Flink 不能采用和 Spark 相同的容错机制。(4分)
- (8分)HDFS 需支持文件并发请求,而并发请求可能会破坏文件一致性, a) 它采用了何种方式来避免文件的读写冲突?(4分) b) 请结合某一应用的需求,说明这种方式有怎样的优缺点?(4分)
五、分析论述题(共30分,需用连贯通顺的语句作答)¶
- (12分)对于PageRank 程序,可以利用MapReduce 或 Spark 来编写, a) 请分别给出这两个计算过程的伪码框架;(8分) b) 对于该计算过程,Spark的执行效率为何会高?(2分) c) 在Spark 中可以什么方式进行该计算过程的加速?(2分)
- (12分)对于Flink的Standalone 部署方式, a) 画出该部署方式下的架构图;(6分) b) 说明各部件作用;(3分) c) 存在哪些应用程序提交方式?有何区别?(3分)
- (6分)假设集群当中有五个物理节点,现在希望将这五个节点用于部署 Spark 和 HDFS,请设计一种最佳的部署方式,画出部署架构图。