news 2026/9/10 22:15:26

CANN/GE LLM数据分发状态码枚举

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
CANN/GE LLM数据分发状态码枚举

# LLMStatusCode

【免费下载链接】geGE(Graph Engine)是面向昇腾的图编译器和执行器,提供了计算图优化、多流并行、内存复用和模型下沉等技术手段,加速模型执行效率,减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力,并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge

LLMException中status_code对应的枚举类,枚举值及解决方法如下表。

枚举值含义是否可恢复解决办法
LLM_SUCCESS成功
LLM_FAILED通用失败重启机器或容器;
保留现场,获取Host/Device日志,并备份。
LLM_WAIT_PROCESS_TIMEOUT处理超时- 如果是pull_cache、pull_blocks、transfer_cache_async等传输相关接口报该错误,该链路不可恢复,需重新建链。
- 其他接口报该异常,加大超时时间并重试。
LLM_PARAM_INVALID参数错误基于日志排查错误原因。
LLM_KV_CACHE_NOT_EXISTKV不存在- 检查对应全量侧报错日志中的请求是否完成。
- 检查是否存在重复拉取。
- 检查标记目标cache的参数是否错误。
LLM_REPEAT_REQUEST重复请求检查是否存在重复调用。
LLM_NOT_YET_LINK没有建链上层排查Decode与Prompt建链情况。
LLM_ALREADY_LINK已经建过链上层排查Decode与Prompt建链情况。
LLM_LINK_FAILED建链失败link_clusters第二个返回值中有该error-code时,需要检查对应集群之间的网络连接。
LLM_UNLINK_FAILED断链失败unlink_clusters第二个返回值中有该error-code时,需要检查对应集群之间的网络连接。
LLM_NOTIFY_PROMPT_UNLINK_FAILED通知Prompt侧断链失败1. 排查Decode与Prompt之间的网络连接。
2. 主动调Prompt侧的unlink_clusters清理残留资源。
LLM_CLUSTER_NUM_EXCEED_LIMIT集群数量超过限制排查link_clusters和unlink_clusters传入参数,clusters数量不能超过16。
LLM_PROCESSING_LINK正在处理建链当前正在执行建链或断链操作,请稍后再试。
LLM_PREFIX_ALREADY_EXIST前缀已经存在检查是否已加载过相同Prefix Id的公共前缀。如果是,需要先释放。
LLM_PREFIX_NOT_EXIST前缀不存在检查Request中的Prefix Id是否已加载过。
LLM_DEVICE_OUT_OF_MEMORYDevice内存不足检查申请的内存是否没有释放。
LLM_EXIST_LINKswitch_role时,存在未释放的链接检查在切换当前LLMDataDist的角色前是否已经调用unlink_clusters断开所有的链接。
LLM_FEATURE_NOT_ENABLED特性未使能检查初始化LLMDataDist时是否传入了必要option:
如果是切换当前LLMDataDist的角色时抛出该异常,排查初始化时LLMConfig是否设置了enable_switch_role = True。
LLM_LINK_BUSY链路繁忙检查同时调用的接口是否有冲突,例如:同时调用如下接口时,会报该error-code。

- 使用相同链路同时调用KvCacheManager的pull_cache和transfer_cache_async。
- 同时调用check_link_status和KvCacheManager的pull_cache。
LLM_OUT_OF_MEMORY内存不足CacheManager模式下才会出现该error-code。
检查内存池是否足够容纳申请的KV大小;
检查申请的内存是否没有释放。
LLM_DEVICE_MEM_ERROR出现内存UCE(uncorrect error,指系统硬件不能直接处理恢复内存错误)的错误虚拟地址请参考《Ascend Extension for PyTorch 自定义API参考》中的torch_npu.npu.restart_device接口的说明获取并修复内存UCE的错误虚拟地址。
说明: 本error-code为预留,暂不支持。
LLM_SUSPECT_REMOTE_ERROR疑似是UCE内存故障上层框架需要结合其它故障进行综合判断是UCE内存故障还是他故障。
LLM_UNKNOWN_ERROR未知错误保留现场,获取Host/Device日志,并备份。

【免费下载链接】geGE(Graph Engine)是面向昇腾的图编译器和执行器,提供了计算图优化、多流并行、内存复用和模型下沉等技术手段,加速模型执行效率,减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力,并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/10 22:14:00

Flipper Zero BadUSB payloads 实战上手指南

Flipper Zero BadUSB payloads 实战上手指南 【免费下载链接】Flipper Playground (and dump) of stuff I make or modify for the Flipper Zero 项目地址: https://gitcode.com/GitHub_Trending/fl/Flipper 本仓库是 Flipper Zero 生态的开源资源库,聚合了数…

作者头像 李华
网站建设 2026/9/10 22:09:31

傅立叶光学Matlab实现:从理论到工程实践

1. 傅立叶光学与Matlab结合的实用价值 傅立叶光学作为现代光学的重要分支,其核心在于用傅立叶变换的数学工具分析光的传播、衍射和成像过程。这种分析方法让我们能够用频域视角理解光场特性,在光学系统设计、图像处理、全息技术等领域具有不可替代的作用…

作者头像 李华
网站建设 2026/9/10 22:07:44

Nat Immunol期刊级柱状图绘制全指南

1. 项目概述:Nat Immunol 图表复现中的柱状图绘制在科研论文图表制作领域,Nature Immunology(Nat Immunol)作为顶级期刊,其图表以严谨规范和视觉表现力著称。最近我在复现一篇Nat Immunol论文中的柱状图时,…

作者头像 李华
网站建设 2026/9/10 22:07:32

互动艺术装置中的机械传动与传感技术实践

1. 项目背景解析"哭泣天使"这个标题乍看充满神秘色彩,实际上在当代艺术创作和互动装置领域有着特殊含义。我第一次接触这个概念是在伦敦的某个新媒体艺术展上——那些看似静止却暗藏玄机的雕塑作品,通过机械结构与数字传感的融合,创…

作者头像 李华