- 大模型
- 人工智能
- 多模态
- 媒体生成
- 基础模型
【免费下载链接】InternLumina-U2
Intern Lumina U2 是一个统一多模态模型，将语言、图像、视频和 3D 纳入 单一框架，用一个模型覆盖文本问答、文生图、图像理解、图像编辑、 视频理解和 3D 理解。它采用 16B 参数 MoE，其中激活参数为 1B（16B-A1B）， 将高效稀疏主干与基于 AToken 构建的 8 码本全离散视觉表示相结合。
InternLumina-U2是上海AI实验室推出的统一多模态大模型：它将语言、图像、视频和 3D 纳入同一个框架，用一个模型覆盖文本问答、文生图、图像理解、图像编辑、视频理解和 3D 理解共 6 大任务。它采用 16B 参数的 MoE（混合专家）架构，每次推理只激活 1B 参数（16B-A1B），在保持多模态全能表现的同时，让部署和推理成本大幅下降。本文带你从零看懂它：能做什么、为什么高效、如何快速跑起来。
一个模型覆盖6大任务：告别多模型拼接
传统多模态方案往往需要"理解用一个模型、生图再换一个模型"，各自为战、互相割裂。InternLumina-U2 的做法是把六类能力装进同一个 16B-A1B 模型里：
| 任务类型 | 具体能力 |
|---|---|
| 💬 文本问答 | 通用语言问答、推理，支持工具调用 |
| 🎨 文生图 | 从文本直接生成图像（扩散式生成） |
| 🔍 图像理解 | 看图问答、内容描述 |
| ✏️ 图像编辑 | 在理解图像的基础上修改图像 |
| 🎬 视频理解 | 理解视频内容并回答相关问题 |
| 🧊 3D 理解 | 对 3D 内容进行理解与分析 |
一个权重目录，六类任务通吃——这正是"统一多模态"最大的工程价值：推理服务只需维护一套模型加载链路。
高效核心一：16B-A1B MoE 稀疏主干
InternLumina-U2 的骨干是 LLaDA2 MoE 架构（模型类型llada2_moe），关键参数可以从 nvidia/config.json 中直接看到：
- 总参数 16B，激活参数约 1B：每层配置
num_experts=256个专家、num_experts_per_tok=8个激活专家（外加 1 个共享专家），每个 token 只经过 8/256 的专家，计算量因此被大幅压缩； - 20 层 Transformer，
hidden_size=2048，最大上下文长度16384； - 词表大小157184——比纯语言模型更大，因为视觉 token 也并入同一个词表空间。
💡 用行话讲就是"参数大、算力省"：能力来自 16B 的总容量，速度来自 1B 的激活量。
多卡部署时，专家权重按 Expert Parallelism 切分，切分规则见 nvidia/parallel_plan.py。
高效核心二：AToken + 8 码本全离散视觉表示
图像怎么"说"给语言模型听？InternLumina-U2 没有用连续向量，而是基于苹果开源的 AToken 方案，把图像编码为8 码本（num_codebooks=8）的全离散视觉 token，让"看图"变成"读一串视觉词"。
生成方向则由multi_codebook_head（多码本预测头）负责，其结构定义在 nvidia/modeling_internluminau2.py 中，并复用了 nvidia/tokenbridge.py 里的CausalBlock、FinalLayer模块，通过通道级自回归逐层"画"出图像。
这种"理解与生成共用离散 token"的设计，是它能用同一套权重同时干理解活和生图活的关键。
快速上手：硬件适配与推理步骤
仓库内置了两套同架构、不同硬件栈训练的检查点，可按自己的机器二选一：
- nvidia/ —— NVIDIA GPU 训练的检查点
- ascend/ —— 华为昇腾 NPU 训练的检查点
每套目录结构完全一致：7 个model-*-of-00007.safetensors分片、model.safetensors.index.json、config.json、modeling_internluminau2.py、tokenizer 及 chat_template.jinja。
推理步骤（3 步跑通）
- 克隆仓库获取推理代码：
git clone https://gitcode.com/InternLM/InternLumina-U2 - 准备环境：推理代码、环境搭建与示例均在上一步的 GitHub 代码仓库中维护，按其说明安装依赖即可；
- 指向检查点并运行：执行
infer_1024_sft.sh时，把CHECKPOINT参数指向上文的nvidia/或ascend/子目录。
上手小贴士
- ⚙️ 对话模板内置深度思考开关（
detailed thinking on/off）与tools 工具调用协议，支持 Agent 式玩法； - 📈 完整 Benchmark 对比表将随官方技术报告（Technical Report）发布，可持续关注；
- 📄 项目采用Apache 2.0许可，可自由商用。
关键文件导航 📍
| 文件 | 说明 |
|---|---|
| README.md | 项目总览、检查点说明与使用方法 |
| nvidia/config.json | MoE 架构完整配置（专家数、码本数、上下文长度等） |
| nvidia/configuration_internluminau2.py | LLaDA2MoeConfig配置类定义 |
| nvidia/modeling_internluminau2.py | 模型主体实现（含multi_codebook_head） |
| nvidia/tokenbridge.py | TokenBridge：通道级自回归生成模块 |
| nvidia/parallel_plan.py | 专家权重的多卡切分计划 |
| nvidia/special_tokens_map.json | 特殊 token（<\|mask\|>等）定义 |
写在最后
InternLumina-U2 展示了统一多模态模型的清晰路线：用离散视觉 token 打通理解与生成，用 16B-A1B MoE 把多模态全能的成本打下来。无论你更看重文生图、图像编辑，还是想搭建一个"图文视频 3D 通吃"的推理服务，这套权重都值得放进你的技术雷达。
📚 引用格式：
@misc{internluminau2, title = {Intern Lumina U2}, author = {{Intern Lumina U2 Team, Shanghai AI Laboratory}}, year = {2026} }- 大模型
- 人工智能
- 多模态
- 媒体生成
- 基础模型
【免费下载链接】InternLumina-U2
Intern Lumina U2 是一个统一多模态模型，将语言、图像、视频和 3D 纳入 单一框架，用一个模型覆盖文本问答、文生图、图像理解、图像编辑、 视频理解和 3D 理解。它采用 16B 参数 MoE，其中激活参数为 1B（16B-A1B）， 将高效稀疏主干与基于 AToken 构建的 8 码本全离散视觉表示相结合。
相关推荐
OmniWeaving深度解析：腾讯混元统一视频生成模型，一个模型搞定6大任务（2026开源完整版）
OmniWeaving深度解析：腾讯混元统一视频生成模型，一个模型搞定6大任务（2026开源完整版） 💡 一句话速览 ： OmniWeaving 是腾讯混元（
VLM2Vec：统一多模态嵌入任务的强大模型
VLM2Vec：统一多模态嵌入任务的强大模型 项目介绍 VLM2Vec 是一项用于大规模多模态嵌入任务的开源项目。该项目旨在构建一个统一的多模态嵌入模型，适用于
人工智能多模态Embedding微调计算机视觉深度学习机器学习模型评测大模型NLPASM-Pretrain完全入门：OpenGVLab All-in-One多模态大模型，一个模型搞定描述与识别
ASM Pretrain完全入门：OpenGVLab All in One多模态大模型，一个模型搞定描述与识别 ASM Pretrain 是 OpenGVLab
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
