如何打造会听会说、懂情绪的语音助手？A.X-K2-Raon-Speech-21B-A3B语音对话(SpeechQA/SpokenQA)实操

• 人工智能
• 大模型
• 语音
• 音频
• 多模态

A.X-K2-Raon-Speech-21B-A3B 是 KRAFTON AI 开源的双语（英/韩）语音大模型，一个模型同时搞定语音识别（STT）、语音合成（TTS）、语音问答（SpeechQA / SpokenQA）和多轮语音对话，还能感知说话人的情绪与语调。下面用最小代码带你从零跑通它。

这个语音大模型能做什么？🎙️

不同于"先 ASR 再 LLM 再 TTS"的传统拼接方案，它是一个端到端的多模态语音语言模型：

它的"大脑"由三部分构成（详见 config.json）：

• 文本骨干：A.X K2 Light 20B-A3B MoE 混合专家模型（总参数约 21.2B，激活约 3.5B，128 个专家 top-8 路由），源码见 modeling_axk1.py
• 语音编码器：独立训练的 AuT 编码器，约 317M 参数
• 神经音频编解码器：Mimi 风格 codec，约 96M 参数，32 量化器 / 2048 码本 / 12.5 帧每秒

效果怎么样？🏆

在 46 项基准（24 韩语 + 22 英语）评测中，A.X K2 Raon-Speech 在30B 及以下规模的公开语音大模型里，韩语综合分排第 1（0.72），英语综合分排第 3（0.75），超过 Qwen3-Omni、Qwen2.5-Omni 等同类模型：

第一步：环境准备（3 步装好）

硬件建议：BF16 权重约 42.4 GB，推荐80 GB 显存的单卡或等效多卡配置。

# 1. 下载模型（约 42GB，建议用 git-lfs 拉取完整权重） git clone https://gitcode.com/hf_mirrors/KRAFTON/A.X-K2-Raon-Speech-21B-A3B # 2. 安装依赖（完整清单见 requirements.txt） pip install -r requirements.txt # 3.（可选）CUDA 系统上安装 flash-attn 降低注意力延迟 pip install flash-attn --no-build-isolation

核心依赖是transformers>=4.57.1、torch、speechbrain（声音克隆和续写 TTS 需要），完整列表见 requirements.txt。

第二步：加载模型

from transformers import AutoConfig from transformers.dynamic_module_utils import get_class_from_dynamic_module MODEL_ID = "KRAFTON/A.X-K2-Raon-Speech-21B-A3B" config = AutoConfig.from_pretrained(MODEL_ID, trust_remote_code=True) RaonPipeline = get_class_from_dynamic_module( "modeling_raon.RaonPipeline", MODEL_ID, revision=getattr(config, "_commit_hash", None), ) pipe = RaonPipeline(MODEL_ID, device="cuda", dtype="bfloat16")

高层推理 APIRaonPipeline封装在 modeling_raon.py，加载一次即可反复调用所有任务方法。

第三步：SpeechQA 实操——听音频，答文字提问

SpeechQA 的典型场景：一段录音（会议、语音留言、播客），你用文字提问。

messages = [ { "role": "user", "content": [ {"type": "audio", "audio": "context.wav"}, {"type": "text", "text": "Please answer the question in this audio."}, ], } ] response = pipe.chat(messages)

第四步：SpokenQA 实操——直接开口问

SpokenQA 更"拟人"：不用打字，直接把语音提问作为输入，模型听懂问题并回答——这是打造语音助手的关键一步：

messages = [ { "role": "user", "content": [ {"type": "audio", "audio": "spoken_question.wav"}, ], } ] response = pipe.chat(messages)

chat方法（modeling_raon.py）还支持force_audio_output、speaker_audio等参数，可以控制输出是文本还是语音、是否指定音色。

顺手解锁：STT、TTS 与声音克隆

# 语音转文字 text = pipe.stt("audio.wav") # 文字转语音 audio, sample_rate = pipe.tts("Hello, how are you?") pipe.save_audio((audio, sample_rate), "output.wav") # 声音克隆：用参考音频的音色说话 audio, sample_rate = pipe.tts( "안녕하세요. 만나서 반갑습니다.", speaker_audio="speaker_reference.wav", ) pipe.save_audio((audio, sample_rate), "conditioned.wav") # TTS 续写：从参考音频处自然接续 audio, sample_rate = pipe.tts_continuation( "And this is how the story continues.", ref_audio="reference.wav", )

仓库 samples/ 目录下提供了 4 段 TTS 样例音频（tts-KsponSpeech_*.wav），可以直接试听模型效果；对话格式模板见 chat_template.jinja。

生产部署：用 vLLM-Omni 起服务

如果要对外提供 API 服务，README 推荐使用 KRAFTON 官方的vLLM-Omni（feat/axk2_raon_speech分支）部署，提供 OpenAI 风格接口：

启动需要一张约 96 GB 显存的 GPU（TP=1，最大上下文 4096），并设置环境变量VLLM_MLA_DISABLE=1。完整命令、健康检查和 curl 示例请查阅 README.md 的 "Deployment with vLLM-Omni" 章节。

常见问题与注意事项 ⚠️

• trust_remote_code=True：该模型携带自定义建模代码（modeling_raon.py、configuration_raon.py），加载时必须信任远程代码
• 采样率 24kHz：音频编码器按 24kHz 处理（见 config.json），输入建议统一为此采样率
• 许可证：模型采用CC BY-NC 4.0，仅限研究与非商业用途
• 声音克隆合规：对可识别说话人做音色克隆或语音生成前，务必先获得本人同意
• 自检脚本：仓库自带 validate_repo.py 和 validate_model.py（校验 9 个权重分片的完整性，无需分配显存），可用于验证本地权重是否下载完整

一个模型、一套 API，从"听"到"说"再到"懂情绪"——A.X-K2-Raon-Speech-21B-A3B 为打造真正会说话的语音助手提供了完整的开箱方案。

• 人工智能
• 大模型
• 语音
• 音频
• 多模态