Hadoop YARN

Hadoop YARN是一种资源管理系统,它在Hadoop框架的帮助下实现处理数据的分布式计算任务的调度和管理。 Apache Hadoop计算框架的第二版以后增加了YARN (Yet Another Resource Negotiator,又被称为Hadoop NextGen)。Hadoop YARN是 Apache Hadoop 的一部分,它把主要功能裁剪,将MapReduce任务处理模块移出,并开发出一个更加通用的平台,以有效利用数据中心的硬件资源,可以实现复杂的大规模的数据处理任务高效的处理与管理,Hadoop YARN为分布式应用提供了一种可用的,高效的服务来调度,管理,计算和完全利用计算机系统的所有硬件资源,YARN扩展了Hadoop的基本功能,使现有的技术用于并行编程,支持多种应用程序。

Hadoop YARN 由资源管理器 ( Resource Manager )、应用程序主机 ( ApplicationMaster )和容器管理器 ( Container Manager )等组成。 Resource Manager 负责管理、调度和优化整个集群上可用的资源,以支持任务的执行;而 ApplicationMaster 负责向 Resource Manager 提交需要执行任务的容器并监控任务的状态,ApplicationMaster 并不负责执行任务本身,它将任务执行的权力委托给 Container 容器;Container Manager 负责将其获得的资源划分为单个容器,每个容器的内部实现了内存和 CPU 的限制,并管理 containers 中运行的应用程序。

YARN 将Apache Hadoop的计算部分从MapReduce技术上的瓶颈分离,为其他计算技术:Spark,HBase,Kafka等提供更大的灵活性,并为Hadoop开发一个更加统一的资源调度管理平台,以更好地支撑大数据处理,数据分析和机器学习等相关业务,从而提高生产效率,改善企业大数据服务应用的体验。

与“Hadoop YARN”相关热搜词Hadoop YARN计算机CPU大数据

  • Apache Hadoop YARN是什么

    Apache Hadoop YARN是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
    2020年09月 00
  • QA YARN是什么

    YARN是什么

    Apache Hadoop YARN (另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
    2020年08月 00
  • Apache Hadoop,成熟开源的大数据处理框架

    Apache Hadoop是一个开源大数据处理框架,以其强大的存储能力、高效的批量数据处理和出色的可扩展性而闻名。它包括HDFS、YARN和MapReduce等核心组件,专注于处理PB级数据。尽管新兴技术如Spark在特定场景中更为高效,Hadoop在大规模数据集处理、高容错性和数据冗余方面仍然是首选。
    01月30日 00
  • 什么是Yarn

    Yarn是一个包管理器。可以使用并分享全世界开发者的(例如 JavaScript)代码。 Yarn 能够快速、安全、 并可靠地完成这些工作。
    2020年09月 0
  • Hadoop框架是什么

    Hadoop是一个开源软件框架,用于在商用硬件集群上存储数据和运行应用程序。它为任何类型的数据提供海量存储,巨大的处理能力以及处理几乎无限的并发任务或作业的能力。
    2018年08月 00
  • 大数据和Hadoop有什么关系

    大数据和开源软件程序Hadoop之间的区别是一个独特的基础。前者是一种资产,通常是一种复杂而模糊的资产,而后者则是一种实现处理该资产的一系列目标和目标的计划。
    2018年08月 00
  • Spark是什么意思

    Apache Spark是一个开源集群运算框架,相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中,Spark使用了存储器内运算技术,能在数据尚未写入硬盘时即在存储器内分析运算。
    2019年07月 00
  • QA 数据分析

    数据分析工具有哪些

     大数据分析工具分为两类,开源大数据生态圈(Hadoop HDFS、Hadoop MapReduce、HBase)、商用大数据分析工具(IBM PureData,Oracle Exadata,SAP Hana)。
    2022年09月 00
  • hive是什么

    hive 是基于 Hadoop 的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。
    2020年08月 00
  • HBase是什么

    HBase是一个分布式的、面向列的开源数据库,在Hadoop之上提供了类似于Bigtable的能力,是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。
    2020年08月 00
  • Ant Design Vue是什么

    Ant Design Vue 是蚂蚁金服 Ant Design 官方唯一推荐的Vue版UI组件库,组件的风格与Ant Design保持同步,组件的html结构和css样式也保持一致。
    2020年07月 00
  • Apache ZooKeeper是什么

    Apache ZooKeeper是Apache软件基金会的一个软件项目,它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。ZooKeeper是一个独立的顶级项目,曾经是Hadoop的一个子项目。
    2019年07月 0