news 2026/7/10 22:40:50

【Ambari Plus】15.Livy 安装

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
【Ambari Plus】15.Livy 安装

Livy 安装

Livy 是 Spark 的 REST 服务入口。它不会替代 Spark History Server,也不会自己负责资源调度;它的作用更像一个网关:外部系统通过 HTTP 提交 Spark Session、Statement 或批任务,Livy 再把任务交给 Spark on YARN。

我会把 Livy 放在 Spark 后面安装。前面已经完成 HDFS、YARN、Hive、Spark,并且集群已经开启 Kerberos,所以 Livy 安装时重点看三件事:LIVY_SERVER放在哪台机器、Livy 是否继续使用 YARN cluster 模式、Kerberos 凭据是否能正常生成。

本次角色分配如下:

主机Livy 角色
hadoop1.test.comLIVY_SERVER
hadoop2.test.com无 Livy 组件
hadoop3.test.com无 Livy 组件

Livy 不需要单独的元数据库,也没有 Slave / Client 组件。第一次安装建议单独勾选 Livy,不要和 Zeppelin、Superset、Atlas 这类组件混在一个向导里安装,排查会更清楚。

1. 选择 Livy 服务

进入服务与组件,点击新增服务,在增强组件列表里勾选Livy

页面会显示 Livy 依赖HDFSYARNSpark。如果这三个服务没有先装好,Livy 即使能进入向导,后面启动和作业提交也容易失败。

本篇环境里三项依赖都已经运行中,勾选 Livy 后直接点击下一步

2. 分配 Livy Server

Master 分配页里,Livy 只有一个常驻角色:LIVY_SERVER

本次把它放在hadoop1.test.com

组件主机说明
LIVY_SERVERhadoop1.test.com提供 Spark REST 会话与任务提交入口。

小集群里把 Livy 放在主节点比较直观,后续接 Knox 或外部 Notebook 时也方便定位入口。生产环境如果 Livy 会承载大量并发 Session,可以再规划独立节点和反向代理。

3. 确认没有 Slave 和 Client

Livy 在这套栈里没有 Slave 组件,也没有 Client 组件。

这一页看到无 Slave 组件需要分配无 Client 组件,本步骤自动跳过就可以继续。Livy 的可用性主要取决于 Server 端配置、Spark 依赖和 Kerberos 凭据。

4. 检查 Livy 核心配置

进入自定义配置页后,先确认顶部状态:待填写 0。这说明安装向导已经把必填项补齐。

这一屏先看端口和恢复目录:

配置项本次示例值说明
livy.server.port8999Livy Server 的 HTTP 端口。
livy.server.host{{livy_server_host}}由安装向导根据 Master 分配自动渲染。
livy.server.recovery.moderecovery开启会话恢复。
livy.server.recovery.state-storefilesystem使用文件系统保存恢复信息。
livy.server.recovery.state-store.url/apps/livy/recovery恢复状态存放路径。

继续往下看 Spark 运行模式:

这里我会重点确认这几项:

配置项本次示例值说明
livy.spark.masteryarnLivy 提交 Spark 作业时走 YARN。
livy.spark.deploy-modeclusterDriver 运行在 YARN 集群中。
livy.impersonation.enabledtrue允许按提交用户进行代理。
livy.superusersknox给 Knox 代理入口预留超级用户能力。
livy.ui.basePath/gateway/default/livy后续接 Knox 时使用的路径。

第一次安装先保留推荐值。等 Livy 跑通后,再根据实际使用方式调整 Session 超时、并发会话数、黑名单配置和 Knox 代理路径。

5. 确认安装清单

确认页会汇总本次新增服务、角色分配和配置校验结果。

本次确认结果如下:

检查项本次结果
新增服务LIVY
Master 分配LIVY_SERVER -> hadoop1.test.com
Slave 分配
Client 分配
配置校验必填项已填写

确认无误后点击开始安装

6. 提交 Kerberos 授权并等待完成

开启 Kerberos 的集群中,新增 Livy 会要求提交 KDC 管理员凭据。这里填写的是 KDC 管理员 Principal 和密码,用于生成 Livy 的 principal / keytab,不是 Ambari 登录密码,也不是某个组件数据库密码。

提交凭据后,向导会继续执行安装、凭据分发和服务启动。安装完成时可以看到LIVY已成功安装。

如果这一步失败,我会优先看两类问题:

现象常见原因处理方向
KDC 凭据提交失败Principal 或密码不对重新确认 KDC 管理员账号。
Livy Server 启动失败Spark、YARN、HDFS 客户端配置未就绪回到前面组件检查服务状态和 Kerberos keytab。

7. 回到服务列表确认状态

回到服务与组件页面,Livy 会出现在资源计算分类下。

页面里可以看到:

组件状态
Livy Server运行中

在服务端也可以确认 8999 端口已经监听:

ss-lntp|grep8999

正常会看到hadoop1.test.com对应地址上的8999处于监听状态,进程名为java

到这里,Livy 的基础安装完成。下一篇可以继续安装 Zeppelin,把 Notebook 入口接到已经跑通的 HDFS、YARN、Spark 和 Livy 之上。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/10 22:40:32

AI 接手一个项目之前,先给它一张可验证的上下文包

我最近把 Doramagic 的一个内部工具单独整理成了公开仓库:https://github.com/tangweigang-jpg/doramagic-ai-context-pack-benchmark它解决的不是“让 AI 多读一点代码”,而是另一个更具体的问题:在 AI 接手一个 repo 之前,先把哪…

作者头像 李华
网站建设 2026/7/10 22:39:10

hive 学习笔记5——hive常用操作(日常短篇练习应用)

1.建表练习 create table if not exists class94.stu (name string comment 姓名, course string comment 科目, score int comment 成绩) comment 学生考试成绩表 ROW FORMAT DELIMITED FIELDS TERMINATED BY ,2.常用操作 -- 创建 数据库 create database class94 -- 切换数…

作者头像 李华
网站建设 2026/7/10 22:39:11

Claude Code 高级玩法:工作流编排、Token 优化与团队协作

title: Claude Code 高级玩法:工作流编排、Token 优化与团队协作 date: 2026-07-07 category: AI 开发工具 tags: [Claude Code, Workflow, Token优化, 团队协作, 最佳实践] Claude Code 高级玩法:工作流编排、Token 优化与团队协作 系列终篇。当我们已…

作者头像 李华
网站建设 2026/7/10 22:38:31

M365 Copilot数据访问边界管控实战:基于Microsoft Purview的DSPM落地

1. 项目概述:为什么“精准把控 Copilot 的数据访问边界”不是可选项,而是生死线?M365 Copilot 不是又一个 Office 插件,它是一台直接接入你整个数字工作空间的“认知引擎”。它能读取你邮箱里三年前一封被遗忘的合同附件、调取 Sh…

作者头像 李华