—24小时全国免费咨询热线 0731-83595998
报考专业:
电气财会通信计算机
当前位置:首页 > 南方五省 > 云南

2021年云南南方电网校园招聘考试计算机知识点:实现机制

发布时间:2020-05-18 09:22:04

实现机制
实现MapReduce操作的执行流程图[7]如图2-3所示。
当用户程序调用MapReduce函数,就会引起如下操作(图中的数字标示和下面的数字标示相同)。
  1. 用户程序中的MapReduce函数库首先把输入文件分成M块,每块大概16MB~64MB(可以通过参数决定),接着在集群的机器上执行处理程序。
  2. 这些分派的执行程序中有一个程序比较特别,它是主控程序Master。剩下的执行程序都是作为Master的分派工作的Worker(工作机)。总共有M个Map任务和R个Reduce任务需要分派,Master选择空闲的Worker来分配这些Map或者Reduce任务。
  3. 一个分配了Map任务的Worker读取并处理相关的输入块。它处理输入的数据,并且将分析出的<key,value>对传递给用户定义的Map函数。Map函数产生的中间结果<key,value>对暂时缓冲到内存。
  4. 这些缓冲到内存的中间结果将被定时写到本地硬盘,这些数据通过分区函数分成R个区。中间结果在本地硬盘的位置信息将被发送回Master,然后Master负责把这些位置信息传送给Reduce Worker。
  5. 当Master通知Reduce的Worker关于中间<key,value>对的位置时,它调用远程过程来从Map Worker的本地硬盘上读取缓冲的中间数据。当Reduce Worker读到所有的中间数据,它就使用中间key进行排序,这样可以使得相同key的值都在一起。因为有许多不同key的Map都对应相同的Reduce任务,所以排序是必需的。如果中间结果集过于庞大,那么就需要使用外排序。
  6. Reduce Worker根据每一个唯一中间key来遍历所有的排序后的中间数据,并且把key和相关的中间结果值集合传递给用户定义的Reduce函数。Reduce函数的结果输出到一个最终的输出文件。
  7. 当所有的Map任务和Reduce任务都已经完成的时候,Master激活用户程序。此时MapReduce返回用户程序的调用点。
由于MapReduce是用在成百上千台机器上处理海量数据的,所以容错机制是不可或缺的。总的来说,MapReduce是通过冲洗执行失效的地方来实现容错的。
 
发表评论(共0条评论)
请自觉遵守互联网相关政策法规,评论内容只代表网友观点,发表审核后显示!

2021年国家电网校园招聘考试直播课程通关班

  • 讲师:刘萍萍 / 谢楠
  • 课时:152h
  • 价格 4800

特色双名师解密新课程高频考点,送国家电网教材讲义,助力一次通关

配套通关班送国网在线题库一套

课程专业名称
讲师
课时
查看课程

2021级国家电网招聘考试其它专业考前押题班直播课

夏老师22小时试听目录

2021级国家电网招聘考试其它专业题海训练班直播课

何老师260小时试听目录

2021级国家电网招聘考试其它专业知识精讲班直播课

贾老师210小时试听目录

2021级国家电网招聘考试金融专业考前押题班直播课

蒋老师30小时试听目录

2021级国家电网招聘考试金融专业题海训练班直播课

王老师290小时试听目录

2021级国家电网招聘考试金融专业知识精讲班直播课

王老师420小时试听目录

2021级国家电网招聘考试管理类考前押题班直播课

谷老师21小时试听目录

2021级国家电网招聘考试管理类专业题海训练班直播课

何老师220试听目录

2021级国家电网招聘考试管理类专业知识精讲班直播课

黎老师265小时试听目录

2021级国家电网招聘考试其它工学类专业考前押题班直播课

蒋老师21小时试听目录

2021级国家电网招聘考试其它工学类专业题海练习班直播课

王老师250小时试听目录

2021级国家电网招聘考试其它工学类专业知识精讲班直播课

彭老师260小时试听目录

2021级国家电网招聘考试计算机专业考前押题班直播课

邝老师20小时试听目录

2021级国家电网招聘考试计算机专业题海练习班直播课

王老师280小时试听目录

2021级国家电网招聘考试计算机专业知识精讲班直播课

刘老师275小时试听目录

2021级国家电网招聘考试通信专业考前押题班直播课

谷老师15小时试听目录

2021级国家电网招聘考试通信专业题海训练班直播课

黄老师280小时试听目录

2021级国家电网招聘考试通信专业知识精讲班直播课

王老师400小时试听目录

2021级国家电网研究生电气考前押题班直播课

程老师12小时试听目录

2021级国家电网招聘考试研究生题海班直播课程

彭老师330小时试听目录

2021级国家电网招聘考试研究生电气专业知识精讲班直播课

杨老师350小时试听目录

2021级国家电网招聘考试本科电气专业考前押题班直播课

杜老师16小时试听目录

2021级国家电网招聘考试本科电气专业题海训练班直播课

黄老师320试听目录

2021级国家电网招聘考试本科电气专业知识精讲班直播课

鲁老师380小时试听目录

2021级国家电网招聘考试专科电气专业考前押题班直播课

崔老师15小时试听目录

2021级国家电网招聘考试专科电气专业知识题海训练直播课

程老师280试听目录

2021级国家电网招聘考试专科电气专业知识精讲班直播课

崔老师280试听目录

2021国家电网招聘考试录播视频课程

  • 讲师:崔莹莹 / 刘萍萍
  • 课时:120h
  • 价格 4500

特色解密新课程高频考点,免费学习,助力一次通关

配套全套国网视频课程免费学习

课程专业名称
讲师
课时
查看课程

2021级国家电网招聘考试管理类专业考前模考班

严老师200小时试听目录

2021级国家电网招聘考试管理类专业题海班录播课

于老师160小时试听目录

2021级国家电网招聘考试管理类专业知识精讲班录播课

谷老师180小时试听目录

2021级国家电网招聘考试其它工学类专业考前押题班录播课

刘老师13小时试听目录

2021级国家电网招聘考试其它工学类专业题海班录播课

周老师139课时试听目录

2021级国家电网招聘考试其它工学类专业知识精讲班录播课

李老师280小时试听目录

2021级国家电网招聘考试其它专业考前押题班录播课

李老师210小时试听目录

2021级国家电网招聘考试其它专业题海班录播课

韩老师210小时试听目录

2021级国家电网招聘考试其它专业知识精讲班录播课

黎老师160小时试听目录

2021级国家电网招聘考试金融专业考前押题班录播课

贺老师14小时试听目录

2021级国家电网招聘考试金融专业题海班录播课

贺老师240小时试听目录

2021级国家电网招聘考试金融专业知识精讲班录播课

王老师320小时试听目录

2021级国家电网招聘考试计算机专业考前押题班录播课

严老师21小时试听目录

2021级国家电网招聘考试计算机专业题海班录播课

夏老师220小时试听目录

2021级国家电网招聘考试计算机专业知识精讲班直播课

刘老师320小时试听目录

2021级国家电网招聘考试通信专业考前押题班录播课

蒋老师21小时试听目录

2021级国家电网招聘考试通信专业题海班录播课

杜老师220小时试听目录

2021级国家电网招聘考试通信专业知识精讲班录播课

黄老师350小时试听目录

2021级国家电网招聘考试本科电气专业考前押题班录播课

杜老师210小时试听目录

2021级国家电网招聘考试财会专业考前押题班录播课

蒋老师12小时试听目录

2021级国家电网招聘考试财会专业题海训练班录播课

杨老师340小时试听目录

2021级国家电网招聘考试财会专业知识精讲班录播课

蒋老师360小时试听目录

2021级国家电网招聘考试研究生考前押题班录播课

王老师15小时试听目录

2021级国家电网招聘考试研究生题海班班录播课

崔老师340小时试听目录

2021级国家电网招聘考试研究生知识精讲班录播课

程老师350小时试听目录

2021级国家电网招聘考试本科电气专业题海训练班录播课

王老师220小时试听目录

2021级国家电网招聘考试专科电气专业考前模拟考试班录播课

崔老师12小时试听目录

2021级国家电网招聘考试专科电气专业题海训练班录播课

杨老师230小时试听目录

2021级国家电网招聘考试本科电气专业知识精讲班录播课

彭老师210小时试听目录

2021级国家电网招聘考试专科电气专业知识精讲班录播课

彭老师360小时试听目录
电网在线题库
返回顶部