什么是yarn

本文概述

• yarn的组成
• yarn的好处

另一个资源管理器将编程提升到Java之外的新高度, 并使之具有交互性, 以使另一个应用程序Hbase, Spark等可以在其上工作。不同的Yarn应用程序可以共存于同一群集上, 因此MapReduce, Hbase, Spark都可以同时运行可带来可管理性和集群利用率的巨大优势。

yarn的组成

• 客户端：用于提交MapReduce作业。
• 资源管理器：管理整个集群中资源的使用
• 节点管理器：用于启动和监视集群中计算机上的计算机容器。
• Map Reduce Application Master：检查运行MapReduce作业的任务。应用程序主服务器和MapReduce任务在由资源管理器安排并由节点管理器管理的容器中运行。

Jobtracker和Tasktracker在Hadoop的早期版本中使用, 负责处理资源和检查进度管理。但是, Hadoop 2.0具有资源管理器和NodeManager来克服Jobtracker和Tasktracker的不足。

yarn的好处

• 可伸缩性：Map Reduce 1达到了4000个节点和40000个任务时的可伸缩性瓶颈, 但是Yarn设计用于10, 000个节点和10万个任务。
• 用途：节点管理器管理资源池, 而不是管理固定数量的指定插槽, 从而提高了利用率。
• 多租户：不同版本的MapReduce可以在YARN上运行, 这使MapReduce的升级过程更易于管理。