Llama-3.1-8B_rai_1.8.0_npu_16K 文件结构全解析：从 model.onnx 到 dd_metastate 缓存的 62 个文件逐一说明-育师

【免费下载链接】Llama-3.1-8B_rai_1.8.0_npu_16K

项目地址：https://ai.gitcode.com/hf_mirrors/amd/Llama-3.1-8B_rai_1.8.0_npu_16K

Llama-3.1-8B_rai_1.8.0_npu_16K 是 AMD 官方发布的Llama-3.1-8B Ryzen AI NPU 推理模型包，基于 ONNX + AWQ 量化导出，支持 16K 上下文（Token Fusion 16K），可在 AMD Ryzen AI 处理器的 NPU 上高效运行。本文带你逐一读懂仓库中的 78 个文件：从核心推理文件 model.onnx、model.onnx.data，到占体积大头的 62 个 dd_metastate 预计算缓存文件，让你快速搞清楚"每个文件是干什么的、能不能动"。

一、项目是什么？一句话看懂

这个仓库不是训练代码，而是一个开箱即用的推理模型部署包：

来源：Meta 的 Llama-3.1-8B 模型
加工流程：Quark 量化（AWQ / Group 128 / uint4 权重 / BFP16 激活）→ OGA Model Builder 导出 → NPU 部署后处理（16K 上下文 Token Fusion）
运行环境：AMD Ryzen AI（Ryzen AI 1.3.1 ~ 1.7.1 各版本），详见 README.md 与 rai_config.json

模型核心规格（来自 config.json 和 params.json）：

参数	值
隐藏维度 hidden_size	4096
层数 num_hidden_layers	32
注意力头 / KV 头	32 / 8（GQA）
词表大小 vocab_size	128256
最大位置	131072（RoPE 缩放 8 倍）
量化方案	AWQ，uint4 权重，group 128，非对称

二、文件结构总览

整个仓库可分成6 大类：

仓库根目录 ├─ 模型权重类 model.onnx / model.onnx.data / model.bin / model.pb.bin ├─ 配置类 config.json / genai_config.json / generation_config.json │ params.json / rai_config.json ├─ 分词器类 tokenizer.json / tokenizer.model / tokenizer_config.json │ special_tokens_map.json ├─ NPU 缓存类 62 个 dd_metastate_* 文件 + cache/ 目录 └─ 合规类 LICENSE / README.md / USE_POLICY.md / .gitattributes

💡 仓库使用 Git LFS 管理大文件（见 .gitattributes），ls -lh看到的小文件指针（几十字节）才是真实大小提示，克隆时会自动拉取数 GB 的真实文件。

三、核心模型文件：真正"跑模型"的 4 个文件

这 4 个文件是推理引擎的输入，不要修改或删减：

文件	真实大小	作用
model.onnx	约 638 KB	ONNX 计算图（网络结构、算子连接），本身不含权重
model.onnx.data	约 1.3 GB	model.onnx 的外置权重数据（quantized 权重）
model.bin	约 3.8 GB	模型完整权重数据（bf16 精度基准）
model.pb.bin	约 11 KB	NPU 后端的 external data 文件，由`genai_config.json`中的`external_data_file`指向

📌 从 genai_config.json 可以看到运行方式：ONNX Runtime GenAI（日志前缀onnxruntime-genai）+ RyzenAI 提供商，启用了hybrid_opt_token_backend: npu（NPU 承担 token 生成）与hybrid_opt_io_bind_kv_cache（KV Cache 绑定优化），hybrid_opt_max_seq_length为 4096。

四、配置文件：控制推理行为的 5 个 JSON

1. config.json —— 模型架构与量化参数

除常规 Llama 架构参数外，重点是quantization_config：

quant_method: quark、AWQ 算法、uint4权重、group_size: 128、非对称量化
明确了 4 组待量化投影层：q_proj/k_proj/v_proj、o_proj、gate_proj/up_proj、down_proj
RoPE 配置：rope_type: llama3，factor: 8.0（原始 8K 位置扩展至 128K）

2. genai_config.json —— ONNX Runtime GenAI 运行配置

context_length: 131072：理论上下文 128K
search节点定义采样策略：temperature: 0.6、top_k: 50、top_p: 0.9、max_length: 16384（对应"16K"命名）
chunk_size: 4096：长 prompt 按 4096 token 分块送入 NPU

3. generation_config.json —— HuggingFace 兼容的生成默认值

记录bos_token_id: 128000、eos_token_id: 128001、temperature: 0.6、top_p: 0.9，方便 transformers 生态直接读取。

4. params.json —— OGA 导出参数快照

一行 JSON 记录导出时的关键超参（dim: 4096、n_layers: 32、rope_theta: 500000.0、use_scaled_rope: true等），相当于"导出配方"存档。

5. rai_config.json —— Ryzen AI 版本兼容性声明

按驱动/运行时版本（1.3.1 ~ 1.7.1）声明max_prompt_length：

1.3.1 ~ 1.5.1：最长 2048
1.6.0 及以上：最长 4096

⚠️ 如果你的 Ryzen AI 版本较旧，长 prompt 会被截断，升级 1.6.0 以上可解锁 4096 prompt 长度。

五、分词器文件：文本 ↔ Token 的四件套

文件	大小	作用
tokenizer.json	约 16.4 MB	完整词表与分词规则（vocab_size 128256）
tokenizer.model	—	SentencePiece 格式的词表文件
tokenizer_config.json	约 52 KB	特殊 token 解码表（`added_tokens_decoder`）
special_tokens_map.json	—	特殊 token 映射：<\|begin_of_text\|> / <\|end_of_text\|>

其中bos_token_id=128000（<|begin_of_text|>）、eos_token_id=128001（<|end_of_text|>）与 config.json 中完全一致，四个文件互相配套，建议整体保留。

六、重点：62 个 dd_metastate 缓存文件是什么？

这是本仓库最"看不懂"也最占空间的部分。62 个文件全部位于仓库根目录，命名规则为：

dd_metastate_<任务名>_<张量名>_<序列长度>.<类型>

以 dd_metastate_Llm_Token_Token_modellayers.0input_layernormMLADFRMSNORM.state 为例拆解：

Llm_Token_Token：NPU 任务名（LLM Token 生成阶段）
modellayers.0input_layernormMLADFRMSNORM：作用算子——第 0 层input_layernorm的融合算子MLADFRMSNORM
结尾数字（384、512、1024……16384）：预先烘焙的序列长度（attention mask 尺寸）
扩展名：缓存类型

三类缓存后缀

后缀	示例	大小	说明
`.state`	…MLADFRMSNORM.state	约 1.2 KB	算子状态表（版本号、state_table 更新项）
`.fconst`	…MLADFRMSNORM.fconst	约 3.5 GB	固定常量数据（fused constants），最大单体文件
`.ctrlpkt`	…attention_mask_padded_1024.ctrlpkt	约 9.4 MB	控制包（control packet），NPU 调度指令
`.meta`	同名`.meta`文件	约 130 B	元数据（校验/版本信息）
`.super`	同名`.super`文件	0 B	占位/超级块标记文件

20 种序列长度，为什么是这个清单？

60 个attention_mask_padded_*文件覆盖 20 种长度，呈"前密后疏"分布：

384 512 1024 1280 1536 2048 2304 2560 2816 3072 3328 3584 3840 4096 5120 6144 8192 9216 12288 16384

384 ~ 4096 区间以256 为步长全覆盖——因为 genai_config.json 中hybrid_opt_max_seq_length: 4096、chunk_size: 4096，NPU 混合优化会频繁命中这些长度
4096 之后按约1024 步长稀疏覆盖至 16384——对应"16K"Token Fusion 上下文能力

本质上是 AMD 把不同序列长度下融合算子（MLADFRMSNORM 等）的编译结果提前打包：首次推理时按实际长度取最近的预烘焙缓存，省去现场编译等待，显著缩短冷启动时间。

cache/ 目录：配套的工作缓存

文件	大小	说明
cache/Token_modellayers.0input_layernormMLADFRMSNORM_meta.json	约 1.2 MB	完整算子清单（op_list），可看到`MLADFRMSNORM`的输入/输出张量与常量参数名
cache/txn_bins.zip	约 3.2 MB	打包的二进制中间产物（zip 受 LFS 管理）

meta.json中op_list记录了算子名/model/layers.0/input_layernorm/MLADFRMSNORM及其常量model.layers.0.input_layernorm.weight，与根目录 dd_metastate 文件一一对应。

七、合规与说明文件

LICENSE：MIT 许可（AMD 对修改部分的版权说明，2025）
USE_POLICY.md：使用政策，部署前务必阅读
README.md：模型简介、量化策略（AWQ/Group 128/Asymmetric/BFP16 激活/UINT4 权重）与许可声明
.gitattributes：Git LFS 规则，声明.onnx、.bin、.fconst、.ctrlpkt、.meta等后缀走 LFS

八、新手常见问题（FAQ）

Q1：下载后文件只有几十字节，是不是损坏了？不是。这些是 Git LFS 指针文件，真实大小写在size字段里。用支持 LFS 的客户端（如git lfs pull）拉取即可得到完整文件。

Q2：62 个 dd_metastate 文件能删吗？删了会怎样？不建议。它们共同约 3.5 GB+（其中 .fconst 文件就占约 3.5 GB），是 NPU 预编译缓存。删除可能导致推理引擎现场重编译、冷启动变慢甚至加载失败。

Q3：支持多长的上下文？理论 128K（max_position_embeddings: 131072），本部署包针对16K（16384）做了 Token Fusion 优化，max_length上限 16384；prompt 分块大小 4096。

Q4：需要哪些硬件？AMD Ryzen AI 处理器（NPU 硬件）+ Ryzen AI Runtime 1.6.0 以上（推荐 1.7.1，可支持 4096 prompt 长度）。快速上手可参考 README 中指向的 Ryzen AI 官方文档（hybrid OGA 章节）。

九、总结：30 秒记住文件分工

跑模型：model.onnx+model.onnx.data+model.bin+model.pb.bin
定行为：config.json（架构/量化）+genai_config.json（运行时/采样）+rai_config.json（版本兼容）
分词：tokenizer.*四件套
加速：62 个dd_metastate_*预编译缓存 +cache/目录
合规：LICENSE+USE_POLICY.md