跳转至

2023-2024-2期末

2021级 A卷

一、单项选择题(每题2分,共10分)

  1. ( )项目最初是从UC Berkeley 发起的。 A. Hadoop B. Spark C. Flink D. Storm

  2. 以下不属于Apache Hadoop 项目( )。 A. HDFS B. Zookeeper C. Yarn D. MapReduce

  3. Flink 的基础数据模型是( )。 A. RDD B. Key-Value C. DataStream D. 以上答案都不对

  4. 分布式计算系统可用于( )领域。 A. 大规模数据处理 B. 高性能计算 C. 人工智能 D. 以上答案都正确

  5. ( )属于数据存储系统。 A. Yarn B. MapReduce C. HDFS D. 以上答案都不对

二、判断题(每题2分,共10分,对的打√,错的打×)

  1. 在MapReduce 的Shuffle过程中,Map将计算结果输出到 HDFS 或本地磁盘,然后 Reduce 再从HDFS或本地磁盘读取数据进一步计算。( )
  2. 与Spark不同,Flink 处理流计算任务能够做到完全流水线。( )
  3. 为了保障容错,Flink采用了异步屏障快照的方式保存检查点,同时降低了对任务正常执行的影响( )。
  4. RDD可以进行一系列的转换,因而是可变的数据集合。( )
  5. 为了降低延迟满足实时性,Flink中上游任务每处理一条缓存中的记录就向下游任务传输。( )

三、填空题(每空2分,共20分,中英文作答均可)

  1. 利用 Spark 编写K-Means程序,通常将中心点作为____提升性能。
  2. 单独部署 Spark时主节点的部件名称是_,从节点的部件名称是_。
  3. Yarn中 _封装了内存、CPU等计算资源,_负责单个应用管理。
  4. Secondary NameNode 在 HDFS 架构中充当了_的备份,Secondary NameNode 通过合并_和____两个文件来形成一个检查点。
  5. 计算密集型应用是指计算机在处理这些应用时_成为首要限制因素,数据密集型应用是指计算机在处理这些应用时_成为首要限制因素。

四、简答题(共30分,需用连贯通顺的语句作答)

  1. (5分)大数据的特征通常使用5V进行刻画,请简述5V的含义。
  2. (6分)简述批处理系统和流计算系统所处理的场景之间的差异。
  3. (6分)MapReduce、Spark、Flink系统的任务间数据传输方式有何差异?
  4. (6分)HDFS 采用的文件读写一致性模型是什么?请解释具体含义并说明这种模型有何优缺点?
  5. (7分)Flink中的算子状态是什么?为什么需要在系统中进行状态管理?

五、分析论述题(共30分,需用连贯通顺的语句作答)

  1. (10分)给定某使用 MapReduce 编写的 WordCount程序,其中map方法对于一行句子进行分词;reduce方法统计每个单词出现的次数;不使用combine方法:partition 的方式为:hash(word) = length(word) mod 2,这里的word 是指单词,length()计算单词字符数。输入文件包含三行: I am a student I am in Shanghai China I love China 假如map的数量为3,每个map 读取一行;reduce的数量为2。 a) 画图示意该程序在 Map、Reduce 两个阶段处理数据的变化过程(8分); b) MapReduce 系统中Combine 和 Merge的作用分别是什么?(2分)
  2. (8分)虽然 Flink的计算过程是一个有向无环图,但它可以支持迭代算子。请 a) 画图示意 Flink 流式迭代计算执行过程(4分); b) 解释工作原理(4分)。
  3. (12分)Yarn 作为统一的资源管理平台可以运行多个框架,现同时运行MapReduce 和 Spark,其中Spark 应用以Client 模式提交,请 a) 画出架构图(6分); b) 说明各部件的作用(6分)。