一文看懂 Qwen3.8-Omni：面向音视频智能体的全模态生产框架

Qwen3.8-Omni 的核心目标，是让模型能够围绕音视频素材完成一套闭环任务：读懂多媒体内容、规划执行方案、调用配套工具、核验输出结果，再依据反馈持续迭代调整。这篇论文把模型训练体系、插件能力、实时调度框架整合在一起，探索全模态大模型落地到工业业务链路的实现路径。

三个层面的建设

相比前代，模型在 29 项音频推理、视听推理和视听智能体评测中的平均分提升超过 25%；按每小时内容估算，音频与视听内容的 API 输入成本分别降低超过 98% 和 93%。

模型架构：信息怎样进入模型，又怎样变成回答？

Thinker–Talker 的分工

可以把这套架构理解为“理解与决策”和“语音表达”的协作：

Thinker：综合多模态输入，生成用于回答、推理和工具调用的文本。

Talker：直接接收 Thinker 的高层表示，逐步生成语音编码。

Code2Wav：将语音编码还原为可以播放的声音。

这里的高层表示，是模型在理解上下文时形成的数值信息。Talker 可以利用这些信息与逐步生成的文本来组织语音表达。

中央展示 Qwen3.8-Omni-Flash-Realtime 的模型核心，外围展示上下文、记忆、工具、监测与子智能体。它是一张模型与运行系统的联合示意图。

三个编码器，提取三类感知信息

视觉、普通音频和空间音频表示通过各自的模态适配器，映射到 Thinker 的共享表示空间。文本则使用 Qwen3.8-Next 的字节级 BPE 分词器，词表规模约为 25 万。

普通音频的处理路径是：重采样到 16 kHz，转换为 128 个频带的梅尔频谱，再送入 AuT。频谱使用 25 ms 窗长和 10 ms 步长；四个 Conv2D 块将输入特征降采样 16 倍，随后由时间自注意力层建模。

AuT 最终以 6.25 Hz 输出表示，即约每 160 ms 一个音频 token。这压缩了音频序列的时间长度，为长音频处理提供了较紧凑的输入。

普通音频经过 AuT，空间音频通过可选的并行分支处理，随后将两类表示结合。

Spatial AuT 先将多声道音频表示为一阶 Ambisonics（FOA）格式，再处理各通道的复数短时傅里叶变换（STFT），保留实部和虚部。这样能够保留声道之间的幅度与相位关系，而这些关系携带着空间线索。

AuT 提取声音内容，Spatial AuT 补充方向与运动线索。 两路表示经各自的适配器映射到同一嵌入空间，再按时间对齐、交错排列成 token 序列，交给 Thinker 联合理解。

共享表示空间使不同输入能够进入同一个语言主干，时间信息则帮助模型建立事件关联：

各模态表示按时间顺序组织，保留显式的文本时间戳。

同一时间片的空间音频表示共享时间位置索引，同时保留不同的空间位置索引。

模型因此能够结合“发生了什么”“什么时候发生”和相关空间信息进行推理。

例如，画面中的人转头、随后一侧传来声音，可以通过时间线建立联系。

Thinker 如何处理长上下文？

Thinker 使用 Qwen3.8-Next 的混合稀疏 MoE 主干，将几种机制组合起来。

稀疏 MoE 负责按需调用专家，控制每个 token 的前馈计算量。 图中粉色的 MoE 模块位于 GDN、QSA 层内部。“专家”是模型中的神经网络模块，每个 token 只激活其中一部分。这样可以扩大模型容量，同时控制一次处理所需的计算。

Gated DeltaNet（GDN）负责用固定大小的状态持续概括历史信息。 图中绿色层通过 GDN 按输入顺序整合 token 信息。处理新 token 时，它更新已有状态，像一份不断改写的内部笔记；门控机制调节旧信息的保留程度和新信息的写入强度。这份状态的大小固定，适合持续处理长序列。

Qwen Sparse Attention（QSA）负责选择并读取与当前 token 相关的上下文细节。 下图左侧的轻量索引器先给压缩后的内容块打分，由 Top-k Selector 选出重点；右侧的 Sparse Core Attention 再对所选块中的原始 token 计算注意力。可以理解为先通过目录找相关章节，再阅读原文，与 GDN 的概括式记忆互补。

预训练的原生序列长度为 262,144 token，即 256K；模型在后训练之后扩展到 1M token。这两个阶段需要区分。

预训练：先接通感官，再学会高效使用长上下文

预训练分为四个阶段，全部采用 256K 的原生序列长度。

对齐编码器与语言主干

语言主干由 Qwen3.8-Next 初始化。训练使用图像与文本、单声道音频与文本、多声道音频与文本等配对数据，分别对齐三个编码器。

“冻结主干”意味着训练时保持其参数不变，它仍参与计算。先对齐接口、再扩大优化范围，可以理解为先让新接入的感知信息以主干能够利用的形式表达出来。这是对训练流程的直观解释。

全参数多模态联合训练

模型接着解冻全部参数，用纯文本和图文、视频与文本、音频与文本、视频与音频等组合数据训练。音频包含单声道与多声道输入，数据覆盖多种语言和方言。

论文为这一阶段列出的规模如下，T 表示万亿 token：

模型支持的语言与方言范围：文本 201 种，语音输入 113 种（74 种语言与 39 种中文方言），语音输出 36 种（29 种语言与 7 种中文方言）。

从学习划重点，到依靠重点完成任务

第三阶段使用主干的全注意力分布监督 QSA 索引器。主干保持固定，稠密注意力仍正常运行，索引器先学习哪些上下文块值得选择。

可以类比为老师完整阅读资料，并提供关注模式，让学生学习如何挑选重点。

第四阶段才正式启用 QSA，并联合优化主干与索引器。此时，模型要在选择性访问上下文的条件下完成任务，逐渐适应稀疏注意力模式。

后训练：整合专家能力，再优化实际行为

Thinker 的后训练，包含多教师蒸馏和统一强化学习两个阶段。

多教师蒸馏

作者从预训练好的 Qwen3.8 基础检查点出发，分别通过监督微调和强化学习训练领域专家，覆盖通用指令、基础推理、编程、智能体任务、视觉理解和音频理解。

这些专家生成各自领域的高质量训练轨迹，再混合为统一的多模态训练数据，训练一个学生模型。

这个过程像让不同科目的老师提供示范，再由一个学生整合所学。作者希望借此获得更强、更一致的监督，并减少不同领域和模态之间的干扰。

统一强化学习

从蒸馏后的检查点出发，作者在文本、视觉、音频和混合模态任务上统一进行强化学习，兼顾任务正确性与交互质量。

智能体应用：模型怎样把音视频变成工作成果？

论文给出了四组共九种应用。它们展示的是模型与工具协作的工作流。

长视频理解与会议

长视频理解采用按需搜集证据。 模型先根据问题制定分析计划，再调用工具读取相关音视频片段，由粗到细定位证据。必要时，可让多个子智能体分别分析画面和声音。

例如，询问三小时发布会中某项决策的原因时，模型可以先定位相关议题，再细看附近片段，必要时继续寻找补充证据。这使主智能体能够在有限上下文中处理数小时视频。

会议纪要强调说话人、内容与视觉身份的联合理解。 模型划分发言、转写内容、对齐身份，并利用画面消解音频中的指代歧义，进而生成纪要、行动项和项目风险分析。论文称其原生支持最长一小时的音视频输入。

接入智能体与工具后，提取的行动项可以继续用于整理任务、发送邮件或按会议要求开展编程。

内容创作

Music-to-MV 先分析歌曲，生成带时间对齐的歌词、全局音乐描述，以及沿结构时间线组织的重要音乐事件。模型据此编写故事和分镜，再检查生成镜头的视觉质量与计划一致性，并通过插件组织成片。

短剧翻译 由智能体协调角色感知的对白识别、语境翻译、角色一致的声音克隆与配音、音轨重混和质量评估。难点在于让角色声音、对白时长和画面节奏相互协调。

长电影解说 先理解两到三小时电影的叙事结构、关键转折和人物变化，再编排解说，选择原片对白与画面，组织旁白和背景音乐，并根据场景调整叙述节奏和音量。

从视频中提取研究、学习与操作知识

Omni-Deep Research 将视频作为研究起点。模型提取主张、流程、参数、实体与未解决问题，再检索网页、文档、图片和其他视频，交叉核对后输出交互式报告。报告中的结论能够回链到原视频的相关时刻。

Video-to-Note 重建教程的教学顺序，提炼重点，并为需要视觉说明的步骤选择关键帧。它还可以调整裁剪区域，让按钮、操作位置或演示细节更清楚。

Skill Creator 面向后续自动执行：从演示中提取标准操作流程、工具用法、判断条件和关键经验，再验证与评估所构建的技能。它希望把一次演示中的知识，变成以后可重复调用的任务能力。

自动研究案例：改进四川话识别

作者给出的任务是：在 12 小时的时限要求下，改进 Qwen2.5-Omni-3B 的四川话语音识别，并交付可用模型。

系统选择 WenetSpeech-Chuan 评测集，固定评价标准并建立基线；随后直接听音频、诊断错误、构造针对性训练数据，执行训练与评估，根据反馈保留有效改动并回滚无效尝试。

作者报告，系统经过 4 轮实验，创建 3,413 条训练样本；同一评测集上的字符错误率从 25.79% 降至 15.30%，相对下降约 40.7%。

评估：能力进步体现在哪里？

评估分为通用与多模态能力，以及全模态智能体能力。

文本与视觉：保持基础能力，部分任务改善

这些结果支持模型保持了较强的文本与执行能力，但不同任务有升有降。

视觉方面，AndroidWorld 得分为 87.1，高于 Qwen3.8-Flash 的 84.5；与此同时，ERQA 和 RealWorldQA 略低于 Qwen3.8-Flash。

音频：多人处理是亮点，普通转写仍有差距

DER 衡量说话人分段与归属错误；cpWER 衡量按说话人组织的转写错误；WER 是词错误率。

多人语音识别和部分长音频理解改善明显。但 FLEURS-ASR、部分普通转写、翻译和语音交互指标仍有差距。

视听联合：相较前代改善，与其他模型各有胜负

视频推理方面，相比前代：

OmniVideoBench：53.8 → 63.4。

Video-MME-v2：47.9 → 65.0。

LVOmniBench：53.2 → 63.3。

不过，在直接理解输入的设置下，Gemini 3.8 Flash 在上述三项视频推理测试中仍然更高。

多模态智能体执行

新模型在四项测试中都超过前代；与 Gemini 相比，分别领先两项。

WildClawBench-MM 和 AgenticVBench 使用 Claude Code，UniClawBench 使用 OpenClaw，OmniGAIA 不使用外部智能体框架。这些分数体现的是模型在指定执行条件下的能力。

核心实验：主动找证据是否有用？

测试要求模型根据视频及其音轨回答理解与推理问题。难点在于相关线索可能分散在多个片段中，需要结合画面、声音和前后事件进行判断。

作者将直接理解输入的 Static 模式，与通过 Qwen Code 规划、调用工具和逐步核验证据的方式对比。两种设置都用于 Qwen 和 Gemini。

Qwen 在三项测试中都提高了，LVOmniBench 的增幅达到 10.3 分，并超过 Gemini；另外两项仍由 Gemini 领先。

在 OmniVideoBench 上，作者还报告了 token 消耗：

在保留跨轮上下文的智能体设置中，token 消耗减少约 45.7%，同时得分提高。这个结果支持按需获取证据的价值。

实时交互：把快速对话与后台执行连接起来

围绕声音质量、响应速度和实际任务执行设计 Qwen3.8-Omni-Flash-Realtime 与 Qwen-Live-Harness。

Talker 怎样学会自然表达？

Talker 用多层数字编码描述每小段声音（RVQ），再通过多 token 预测（MTP）补充声音细节。ARIA 协调文字和声音的生成进度，让模型可以边生成回答边说话；Code2Wav 则把编码逐段还原成可播放的声音。解码器还将波形重建的采样率从 24 kHz 提升到 48 kHz，以改善高频细节。

训练分五步推进：先学习生成语音，再加入复杂对话，学习结合语境表达；随后通过多教师蒸馏（MOPD）吸收不同语言专家的能力，再微调目标说话人的声音特征。最后，先让 Thinker 的表现更符合人类偏好，再根据它提供的奖励信号，用强化学习算法 GSPO 改进 Talker。

流式生成怎样缩短等待？

Thinker 分块处理输入并逐步生成输出，Talker 接收流式输出生成语音 token，Code2Wav 再逐块生成声音。前一部分的语音可以在完整回答生成之前送出。

例如，回答的前半句已经形成时，系统可以开始生成这部分声音，同时继续处理后续内容。它利用的是各阶段能够消费部分结果的流水式协作。

总体文字吞吐量约为 81–85 token/秒；音频生成实时因子 RTF 约为 0.153，对应约 6.5 倍实时生成速度。RTF 按首个到最后一个音频块之间的时间除以生成音频长度计算，不包含初始等待。

Qwen-Live-Harness 的三类能力

异步执行与子智能体委派。 前台继续对话，后台通过统一适配接口调用 Qwen Code、Codex、Claude Code 等后端执行任务。进度与结果异步进入对话上下文，并由前台适时播报。打断当前语音不会取消已委派任务；实时通话结束后，后台任务仍可继续。

主动交互。 用户可以定义基于音频、画面或时间的条件。独立实时会话负责监测并产生文字事件报告，前台在合适时机转成语音通知。冷却时间和连续检测抑制用于减少重复提醒。

持久记忆。 框架结合对话记录、显式工作记忆和筛选保留的用户事实，将可复用信息整理进持久档案，通过关键词搜索和可选的向量匹配检索。启用视觉记忆时，保存从画面提取的文字观察记录。

大模型的知识又多又杂，到底怎么学？

做这行久了，被问最多的问题就一个：大模型的知识又多又杂，我到底先学啥？翻了一堆资料，看啥都像重点，结果啥都没学进去。今天把我自己一路摸出来的顺序捋一遍，零基础、应届生、转行的都适用。跟着走，至少方向不乱、不瞎忙，学完拿得出手。

第一阶段（10天）：初阶应用

这一阶段就一个目标：把大模型真正"玩明白"，不是只会聊天那种，而是能调教它、能用代码把大模型和业务接起来。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

这阶段正式进实战，目标很实在：做出两个能拿出手的东西——一个私有知识库，一个 agent 对话机器人。

• 为什么要做 RAG

• 搭建一个简单的 ChatPDF

• 检索的基础概念

• 什么是向量表示（Embeddings）

• 向量数据库与向量检索

• 基于向量检索的 RAG

• 搭建 RAG 系统的扩展知识

• 混合检索与 RAG-Fusion 简介

• 向量模型本地部署

• …

走完这 30 天，Python 或 JavaScript 背景的基本能独立做一套 RAG 应用，简历上也敢写"大模型应用开发"了。

第三阶段（约20天）：动手微调

学到这，你已经开始 “造” 模型了 —— 通过微调，搞出垂直领域的专用小模型。

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你从 “只会用” 变成 “能造” 的 AI 小子。那么你还想往下探索吗？

想要入局AI大模型赛道、抢占行业红利的朋友，微信扫描下方CSDN官方认证二维码，即可100%免费领取全套学习资料！

第四阶段（20天）：商业闭环，部署落地

技术学完，落地才算数。这阶段带你搞明白大模型怎么真正跑起来、用起来。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

想要入坑大模型的朋友，给大家准备了一份2026 年最新 AI 大模型全套学习资料：

1、大模型系统化学习路线

2、大模型学习视频教程

3、大模型学习书籍&电子文档

4、AI大模型最新行业报告

5、大模型项目实战&配套源码

6、2026大模型大厂面试真题

7、为什么要学习大模型？

我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着AI技术飞速发展，预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。

8、适合谁学？

• 传统后端 / Java / 前端开发，想转型 AI 应用
• 大学生、应届生，想拿更好的 offer
• 产品经理、运营，想武装职业竞争力
• 技术负责人，想给团队落地提效

学习是反人性的，但回报是真金白银。技术会更新，赛道会切换，但只要你先动手，机会就永远站在你这边。

9、这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

想要入局AI大模型赛道、抢占行业红利的朋友，微信扫描下方CSDN官方认证二维码，即可100%免费领取全套学习资料！

好了，就写到这。路线是死的，人是活的，卡住了随时来问我。觉得有用就点个收藏，别让它进收藏夹吃灰——动起来比啥都强。