2024-2025-2期末¶

2022级 A卷回忆

选择、判断基本上全考的一眼看出来的概念。没有填空题,6个大题就是有个选择题问你下列哪个不能在Yarn上运行，给了mapreduce1.0 spark mpi 还有以上都不对。我感觉这些都可以运行，就选了都不对。因为书上说的是，mr2.0脱离yarn不能独立运行。又没说哪些不能。我感觉这个平台啥都能运行。

还有个判断题问你mapreduce的map数是用户自定义参数的，我不确定我感觉是按照split数的自动化分的，所以选错。

第一题是hadoop的发源地，选雅虎吧。我看课件说那个人加盟雅虎了选项: yahoo, mit , tu berlin , uc berkley

判断题有个容易出错我感觉，他说“和mpi一样，mr能实现容错” mpi不能容错。

哦还有个选择题也容易错，就是以下哪个是flink在yarn上运行的状态。就是session，application，perjob。三个都对

然后还有判断题说spark之间的shffle要存进hdfs，这个不对。就是类似的表述。但是中间过程不存进hdfs。

哦还有个判断题。那个hdfs能任意读写啥啥啥的，反正是类似的表述，错的。

还有个选择题，说flink的前身。Stratosphere

5v考在选择题了。

稍微有点细的有：

spark最初由谁启动？yahoo Hadoop 2.0项目不包括哪个？zookeeper yarn不支持哪个框架？mapreduce 1.0

mpi像mapreduce一样提供容错能力，对吗？ spark中shufflemaptask的结果是存储到本地磁盘还是存储到hdfs？

大题覆盖范围也广，有印象的有：

让你说算子状态和进程状态。那个进程状态就是操作系统里面的那个。(xc在水杉上的网课)

从用户编程角度，系统实现角度描述spark mapreduce和flink的迭代任务的区别，并画出它们各自的迭代任务示意图；

有五个节点，要你包括客户端，在yarn上部署cluster模式的spark+mapreduce，画出架构图，标出各部分含义；

然后是和去年一样的mr的那个wordcount

mapreduce2.0相比spark有什么局限性？

比较mapreduce和spark的容错保障机制

比较spark和flink的流水线机制