阿里发布Qwen3-Omni全模态模型家族：三引擎驱动多模态交互新纪元-育师

阿里发布Qwen3-Omni全模态模型家族：三引擎驱动多模态交互新纪元

【免费下载链接】Qwen3-Omni-30B-A3B-Thinking项目地址: https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-Omni-30B-A3B-Thinking

2025年10月10日，阿里巴巴正式开源Qwen3-Omni-30B-A3B系列全模态基础模型，包括Instruct、Thinking和Captioner三款核心产品。该系列模型突破传统单模态限制，实现文本、图像、音频、视频的原生端到端处理，并支持文本与自然语音的实时流式输出，标志着开源多模态AI技术进入全场景交互新阶段。

全模态交互的技术突破

Qwen3-Omni-30B-A3B系列采用创新的混合专家（MoE）架构设计，通过Thinker-Talker双模块协同与AuT预训练技术，构建起兼具深度推理与自然交互能力的多模态处理系统。其核心优势在于实现跨模态信息的无缝融合——在支持音频/视频输入输出的同时，保持文本与图像单模态性能不降级，这一特性在36项国际音频/视频基准测试中创下22项SOTA成绩，其中32项保持开源领域领先地位，语音识别与对话能力已媲美行业标杆Gemini 2.5 Pro。

如上图所示，Qwen3-Omni通过四大核心特性构建全模态交互能力：更智能的推理引擎支持复杂数学问题求解，多语言系统覆盖119种文本语言，低延迟架构实现实时响应，长序列处理能力满足会议记录等场景需求。这一设计直观展现了模型如何通过模块化架构平衡性能与效率，为开发者提供兼顾通用性与专业度的多模态工具集。

在跨语言支持方面，该系列实现19种语音输入与10种语音输出能力，覆盖中、英、日、韩、德、法等主流语种，同时支持粤语、阿拉伯语等特色语言。通过系统提示词定制功能，开发者可灵活调整模型行为模式，快速适配教育、医疗、工业等垂直领域需求。值得关注的是，同步开源的Qwen3-Omni-30B-A3B-Captioner音频描述模型，凭借高细节还原与低幻觉率特性，填补了开源社区在音频细粒度解析领域的技术空白。

三引擎模型矩阵解析

Qwen3-Omni-30B-A3B系列提供三款功能互补的模型选择，形成从底层推理到终端交互的完整技术链条：

Qwen3-Omni-30B-A3B-Instruct
作为全功能指令微调模型，集成Thinker与Talker双模块，支持多模态输入与文本/音频输出。适用于构建智能客服、虚拟助手等实时交互系统，通过动态调整系统提示词可实现从技术支持到情感陪伴的角色切换。

Qwen3-Omni-30B-A3B-Thinking
专注于思维链推理的核心引擎，保留完整思考者组件，接收多模态输入并输出结构化文本结果。特别适合需要深度分析的场景，如视频内容理解、多模态数据分析等专业任务，开发者可通过该模型构建自定义推理流程。

Qwen3-Omni-30B-A3B-Captioner
针对音频理解优化的专业模型，能生成细节丰富的音频描述文本，在环境音识别、音乐解析等领域表现突出。其低幻觉特性确保输出内容的可靠性，为视障辅助、音频内容检索等应用提供关键技术支撑。

用户可通过以下命令获取模型文件：

# 通过ModelScope下载（推荐中国大陆用户） pip install -U modelscope modelscope download --model Qwen/Qwen3-Omni-30B-A3B-Instruct --local_dir ./Qwen3-Omni-30B-A3B-Instruct modelscope download --model Qwen/Qwen3-Omni-30B-A3B-Thinking --local_dir ./Qwen3-Omni-30B-A3B-Thinking modelscope download --model Qwen/Qwen3-Omni-30B-A3B-Captioner --local_dir ./Qwen3-Omni-30B-A3B-Captioner # 通过Hugging Face下载 pip install -U "huggingface_hub[cli]" huggingface-cli download Qwen/Qwen3-Omni-30B-A3B-Instruct --local_dir ./Qwen3-Omni-30B-A3B-Instruct

多框架部署指南

Transformers快速启动

Qwen3-Omni系列已完整支持Hugging Face Transformers生态，开发者需先安装最新版依赖：

pip install git+https://github.com/huggingface/transformers pip install accelerate qwen-omni-utils flash-attn --no-build-isolation

以下代码示例展示多模态交互流程，实现图像与音频的联合理解：

import soundfile as sf from transformers import Qwen3OmniMoeForConditionalGeneration, Qwen3OmniMoeProcessor from qwen_omni_utils import process_mm_info model = Qwen3OmniMoeForConditionalGeneration.from_pretrained( "Qwen/Qwen3-Omni-30B-A3B-Instruct", dtype="auto", device_map="auto", attn_implementation="flash_attention_2" ) processor = Qwen3OmniMoeProcessor.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct") # 构建多模态对话 conversation = [{ "role": "user", "content": [ {"type": "image", "image": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-Omni/demo/cars.jpg"}, {"type": "audio", "audio": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-Omni/demo/cough.wav"}, {"type": "text", "text": "What can you see and hear? Answer in one short sentence."} ] }] # 处理输入并生成结果 text = processor.apply_chat_template(conversation, add_generation_prompt=True, tokenize=False) audios, images, videos = process_mm_info(conversation, use_audio_in_video=True) inputs = processor(text=text, audio=audios, images=images, videos=videos, return_tensors="pt", padding=True) inputs = inputs.to(model.device).to(model.dtype) text_ids, audio = model.generate(**inputs, speaker="Ethan") response = processor.batch_decode(text_ids.sequences[:, inputs["input_ids"].shape[1]:], skip_special_tokens=True) print(response[0]) # 输出多模态理解结果 if audio is not None: sf.write("response.wav", audio.reshape(-1).detach().cpu().numpy(), samplerate=24000)

vLLM高性能部署方案

对于高并发场景，推荐使用vLLM框架进行部署，需通过源码安装最新适配版本：

git clone -b qwen3_omni https://github.com/wangxiongts/vllm.git cd vllm pip install -r requirements/build.txt pip install -r requirements/cuda.txt VLLM_USE_PRECOMPILED=1 pip install -e . -v --no-build-isolation

vLLM部署示例代码：

from vllm import LLM, SamplingParams from transformers import Qwen3OmniMoeProcessor from qwen_omni_utils import process_mm_info llm = LLM( model="Qwen/Qwen3-Omni-30B-A3B-Instruct", trust_remote_code=True, gpu_memory_utilization=0.95, tensor_parallel_size=torch.cuda.device_count(), limit_mm_per_prompt={'image':3, 'video':3, 'audio':3}, max_num_seqs=8 ) messages = [{ "role": "user", "content": [{"type": "video", "video": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-Omni/demo/draw.mp4"}] }] text = processor.apply_chat_template(messages, add_generation_prompt=True, tokenize=False) audios, images, videos = process_mm_info(messages, use_audio_in_video=True) inputs = {'prompt': text, 'multi_modal_data': {}, "mm_processor_kwargs": {"use_audio_in_video": True}} if videos: inputs['multi_modal_data']['video'] = videos outputs = llm.generate([inputs], SamplingParams(temperature=0.6, max_tokens=16384)) print(outputs[0].outputs[0].text)

实践指南与性能优化

硬件配置建议

Qwen3-Omni系列对GPU内存有一定要求，在BF16精度下，Instruct模型处理15秒视频需78.85GB显存，30秒视频需88.52GB；Thinking模型因不含对话者模块，内存需求降低约12%。建议采用A100 80GB或以上配置，通过FlashAttention 2实现内存效率最大化。

多模态交互最佳实践

在视频处理场景中，启用use_audio_in_video参数可同步解析视频中的音频信息，提升内容理解准确性。需注意在数据预处理、模型加载与生成过程中保持参数一致性：

# 数据预处理阶段 audios, images, videos = process_mm_info(messages, use_audio_in_video=True) # 模型输入阶段 inputs = processor(..., use_audio_in_video=True) # 生成阶段 text_ids, audio = model.generate(..., use_audio_in_video=True)

对于Thinking模型的推理任务，建议在多模态输入中添加明确的文本指令，如：

messages = [{ "role": "user", "content": [ {"type": "audio", "audio": "/path/to/audio.wav"}, {"type": "image", "image": "/path/to/image.png"}, {"type": "text", "text": "分析这段音频和图像中的关联信息，并总结关键发现"} ] }]