news 2026/3/10 22:38:35

yarn的jobHistory日志介绍

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
yarn的jobHistory日志介绍

好的,我们来详细介绍一下 YARN 中的 JobHistory 日志。

我们在YARN运行MapReduce的程序的时候,任务会被分发到不同的节点,在不同的Container内去执行。如果一个程序执行结束后,我们想去查看这个程序的运行状态呢?每一个MapTask的执行细节?每一个ReduceTask的执行细节?这个时候我们是查看不到的,因此我们需要开启记录历史日志的服务。

1.JobHistory Server 的作用

JobHistory Server (JHS) 是 YARN 的一个关键服务组件,主要负责:

  • 存储已完成作业的历史信息:当应用程序(如 MapReduce 作业)在 YARN 上运行完成后,其运行相关的元数据和日志并不会立即消失。JobHistory Server 负责收集、存储和管理这些信息。
  • 提供历史作业查询接口:用户或管理员可以通过 Web UI 或 REST API 查询已经完成的应用程序的详细信息,包括:
    • 应用程序的配置信息
    • 运行时间线(开始、结束时间)
    • 各个容器(Container)的运行状态和日志
    • 计数器(Counters)信息
    • 任务(Map Task, Reduce Task)的尝试次数、失败原因等

2.日志的生成与聚合

  • 日志产生:在应用程序运行期间,每个运行的容器(通常在每个 NodeManager 节点上)都会产生标准输出(stdout)、标准错误(stderr)以及特定于框架(如 MapReduce)的日志文件(例如syslog)。
  • 日志聚合:YARN 的一个重要特性是日志聚合
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/3/10 11:45:12

网络安全中对称算法和非对称算法的作用和区别

对称算法与非对称算法的作用与区别对称算法作用: 对称算法使用相同的密钥进行加密和解密,主要用于高效加密大量数据。其核心公式为: $$ E_k(P) C \quad \text{和} \quad D_k(C) P $$ 其中 $P$ 为明文, $C$ 为密文, $…

作者头像 李华
网站建设 2026/3/9 23:01:17

Whisper-Tiny.en:5大商业场景揭秘2025智能语音市场新格局

Whisper-Tiny.en:5大商业场景揭秘2025智能语音市场新格局 【免费下载链接】whisper-tiny.en 项目地址: https://ai.gitcode.com/hf_mirrors/openai/whisper-tiny.en 在智能语音技术快速发展的2025年,OpenAI推出的Whisper-Tiny.en模型以仅3900万参…

作者头像 李华
网站建设 2026/3/10 9:49:35

当工控老炮儿遇上上位机:手把手教你驯服大地控制器

大地和控制器上位机,带使用说明 can车间里那台老旧的PLC突然罢工,仪表数据像脱缰野马般收不上来——这种场景工控人都懂。今天咱们就拿大地控制器开刀,用Python和Modbus协议,手把手教你怎么让上位机和控制器"对上暗号"。…

作者头像 李华
网站建设 2026/3/8 7:23:54

18. 有理函数和渐近线

1.有理函数 2.渐近线1.有理函数 有理函数是两个多项式函数相除得到的函数, 其一般形式为:P(x)和Q(x)是多项式, 且Q(x)不等于02.渐近线 渐近线描述的是当函数图像上的点沿着曲线无限远离原点时, 它与某条固定直接无限接近的现象对于有理函数, 主要有三种渐近线: 垂直渐近线, 水平…

作者头像 李华
网站建设 2026/3/8 9:23:13

树莓派家庭服务器搭建指南从零到实用

本文详解如何将树莓派打造成家庭服务器,运行各种实用服务,并实现远程访问。 前言 想搭建家庭服务器,但又觉得NAS太贵、旧电脑功耗太高? 树莓派是一个很好的选择: 价格便宜(几百块) 功耗超低(5-10W) 体积小巧(手掌大小) 性能够用(日常服务绑绑有余) 今天就来把树…

作者头像 李华
网站建设 2026/3/8 9:23:06

黑客大神都会玩这 10 个 Linux 命令,我不允许你还不知道!

Linux当中有很多比较有趣的命令,可以动手看看,很简单的。 1.rev命令 一行接一行地颠倒所输入的字符串。 运行: $rev 如输入:shiyanlou shiyanlou 2.asciiview命令 1.先安装aview $sudo apt-get install aview 2.再安装im…

作者头像 李华