YARN的工作机制及特性总结

news/2025/2/22 18:58:42

YARN
hadoop的资源管理调度平台(集群)——为用户程序提供运算资源的管理和调度
用户程序:如用户开发的一个MR程序
YARN有两类节点(服务进程):
1. resourcemanager 主节点master ----只需要1个来工作
2. nodemanager 从节点⋯•根据集群规模可以有很多个

总结:
1. yarn只响应job的提交及为job的运行分配资源,yarn不参与job的具体运行机制和流程
2. mapreduce程序中有一个进程叫MrAppmaster来负责程序的具体运行流程控制
3.由于yarn不参与用户程序的具体运行,所以yarn可以为各种类型的应用程序提供资源服务
o(YARN就类似于一个操作系统平台,可以运行各种各样的运算框架所开发的程序:
mapreduce. storm.spark. •)
5. 图为yarn的这种平台特性,延长了hadoop的生命周期
6、因为yarn可以整合各种运算框架,企业就可以把各种分布式框架整合到hadoop集群


http://www.niftyadmin.cn/n/5862656.html

相关文章

06、ElasticStack系列,第六章:elasticsearch设置密码

第六章:Elasticsearch设置密码 一、修改配置文件 ##进入容器 docker exec -it elasticsearch bash##启用认证 vi config/elasticsearch.yml 添加如下内容: http.cors.enabled: true http.cors.allow-origin: "*" http.cors.allow-headers: A…

基于Python+Django+Vue的旅游景区推荐系统系统设计与实现源代码+数据库+使用说明

运行截图 功能介绍 前台功能包括:首页、详情页、订单、用户中心。后台功能包括:首页、轮播图管理、管理员、卖家管理、买家管理、景区管理、订单管理非开源功能(分类管理,地区管理,收藏管理,评论管理&a…

echarts找不到了?echarts社区最新地址

前言:在之前使用echarts的时候,还可以通过上边的导航栏找到echarts社区,但是如今的echarts变更之后,就找不到echarts社区了。 ✨✨✨这里是秋刀鱼不做梦的BLOG ✨✨✨想要了解更多内容可以访问我的主页秋刀鱼不做梦-CSDN博客 如今…

【雅思博客06】Daily Life

对话 A: Honey, the house is such a mess! I need you to help me tidy up a bit. My boss and her husband are coming over for dinner, and the house needs to be spotless! B: I’m in the middle of something right now. I’ll be there in a second. A: This can’t …

【电机控制器】ESP32-C3语言模型——豆包

【电机控制器】ESP32-C3语言模型——豆包 文章目录 [TOC](文章目录) 前言一、简介二、代码三、实验结果四、参考资料总结 前言 使用工具&#xff1a; 提示&#xff1a;以下是本篇文章正文内容&#xff0c;下面案例可供参考 一、简介 二、代码 #include <WiFi.h> #inc…

【CXX】5 桥接模块参考

1 CXX主要概念概览已经涵盖了CXX用来表示语言边界的高级模型。本章在此基础上详细介绍#[cxx::bridge]的语法和功能。 extern “Rust” ——将不透明的Rust类型、Rust函数、Rust方法暴露给C&#xff1b;具有生命周期的函数。extern“C”——绑定不透明的C类型、C函数、C成员函数…

Android TabLayout 实现随意控制item之间的间距

效果 红色标注是不同的间距。 实现方式 1、xml中定义 <com.google.android.material.tabs.TabLayoutandroid:id"id/tab_layout"android:layout_width"wrap_content"app:tabIndicatorColor"color/color_FF00B2E3"app:tabBackground"a…

Spring Boot项目@Cacheable注解的使用

Cacheable 是 Spring 框架中用于缓存的注解之一&#xff0c;它可以帮助你轻松地将方法的结果缓存起来&#xff0c;从而提高应用的性能。下面详细介绍如何使用 Cacheable 注解以及相关的配置和注意事项。 1. 基本用法 1.1 添加依赖 首先&#xff0c;确保你的项目中包含了 Spr…