如何上手Qwen-AgentWorld：SGLang与vLLM部署+首次推理完整教程（256K长上下文）

Qwen-AgentWorld 是一个通用智能体语言世界模型（Language World Model），单模型统一覆盖 MCP、Search、Terminal、SWE、Android、Web、OS 七大 Agent 交互域，原生支持256K 长上下文。本文带你从零完成 Qwen-AgentWorld 的 SGLang 与 vLLM 双框架部署，并完成首次推理调用与 AgentWorldBench 评测，全程约 20 分钟可跑通。

为什么值得关注：世界模型 ≠ 普通大模型

先花 30 秒理解它的定位。普通 LLM 是"回答问题"，而 Qwen-AgentWorld 是模拟环境：给它一个动作（比如终端命令ls -la），它预测下一个环境状态（终端输出）。

核心亮点：

• MoE 架构：35B-A3B 版本总参 35B、激活仅 3B，推理成本低
• 256K 上下文：可模拟超长多轮交互轨迹
• 三阶段训练：CPT 注入环境知识 → SFT 激活状态预测推理 → RL 提升仿真保真度
• 开源评测：配套 AgentWorldBench（7 域 2170 条样本）

在 AgentWorldBench 上，397B-A17B 版本综合得分 58.71，超过 GPT-5.4（58.25）等前沿闭源模型；35B-A3B 小版本相比同尺寸基座也提升 8.66 分。

准备工作：获取模型与提示词模板

git clone https://gitcode.com/gh_mirrors/qw/Qwen-AgentWorld.git

模型权重从 HuggingFace 自动拉取（国内可设SGLANG_USE_MODELSCOPE=true或VLLM_USE_MODELSCOPE=true走 ModelScope）：

pip install huggingface_hub huggingface-cli download Qwen/Qwen-AgentWorld-35B-A3B

仓库内 prompts/ 目录为每个领域提供了现成的世界模型系统提示词模板，每个子目录含 system_prompt.txt（环境模拟提示词）和 judge_system_prompt.txt（评测打分提示词），共 7 个域：mcp、search、terminal、swe、android、web、os。

方法一：SGLang 一键部署步骤

SGLang 是高性能 LLM 服务框架，对 MoE 模型支持完善，推荐优先使用：

python -m sglang.launch_server \ --model-path Qwen/Qwen-AgentWorld-35B-A3B \ --port 8000 \ --tensor-parallel-size 4 \ --context-length 262144 \ --reasoning-parser qwen3

参数速览：

启动成功后，OpenAI 兼容 API 将暴露在http://localhost:8000/v1。

方法二：vLLM 最快配置方法

vllm serve Qwen/Qwen-AgentWorld-35B-A3B \ --port 8000 \ --tensor-parallel-size 4 \ --max-model-len 262144 \ --reasoning-parser qwen3 \ --language-model-only \ --trust-remote-code

⚠️新手最容易踩的坑：--language-model-only参数必不可少。该模型架构中定义了视觉组件，但 checkpoint 只包含语言模型权重。缺少此参数时 vLLM 会尝试初始化视觉模块并报错。

同样在http://localhost:8000/v1提供 OpenAI 兼容 API。

首次推理：3 步完成第一次调用

1️⃣ 验证服务可用性

curl http://localhost:8000/v1/models

2️⃣ 用 OpenAI 兼容接口发起推理

以 Terminal 域为例，直接把 prompts/terminal/system_prompt.txt 的内容作为 system 提示词：

curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "Qwen/Qwen-AgentWorld-35B-A3B", "messages": [ {"role": "system", "content": "<粘贴 terminal 域 system prompt>"}, {"role": "user", "content": "Action: execute_bash\nCommand: ls -la /home/user/project/"} ], "temperature": 0.6, "max_tokens": 2048 }'

模型会预测终端执行该命令后的完整输出——这就是"世界模型"在仿真环境。

3️⃣ 也可用 Transformers 本地推理

from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "Qwen/Qwen-AgentWorld-35B-A3B" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype="auto", device_map="auto" ) # 组装 messages 后 tokenizer.apply_chat_template + model.generate 即可

💡 提示：评测场景中每条样本自带system_str字段，prompts/ 目录的提示词仅作为通用参考模板。

进阶：跑通 AgentWorldBench 官方评测

想量化自己的部署效果？官方提供独立评测脚本 eval/eval.py，基于 OpenAI 兼容 API，按 Format / Factuality / Consistency / Realism / Quality 五维打分。

# 1. 下载评测数据集 huggingface-cli download Qwen/AgentWorldBench \ --repo-type dataset --local-dir ./AgentWorldBench pip install openai cd eval # 2. 世界模型推理 python eval.py infer \ --data-dir ../AgentWorldBench \ --model-base-url http://localhost:8000/v1 \ --model-name Qwen/Qwen-AgentWorld-35B-A3B \ --output-dir ./results # 3. LLM 裁判打分 export OPENAI_API_KEY="your-api-key" python eval.py judge \ --predictions ./results/predictions.jsonl \ --judge-base-url https://api.openai.com/v1 \ --judge-model gpt-5.2-2025-12-11 \ --output-dir ./results # 4. 汇总得分 python eval.py score --predictions ./results/judged.jsonl

评测工具链的解析与打分逻辑位于 eval/lwm_eval_utils/（含 task_configs.py、judge_parser.py），数据集由 7 个域的 JSONL 文件组成（如mcp_test.jsonl、terminal_test.jsonl）。

常见问题排查

总结

至此你已完成 Qwen-AgentWorld 的完整上手链路：拉取仓库 → SGLang/vLLM 部署 256K 服务 → 首次推理 → 官方评测。作为首个覆盖七大 Agent 域的开源语言世界模型，它既能当环境模拟器训练 Agent，也能用 AgentWorldBench 量化仿真保真度。更多结果细节可参考项目 README 中的技术报告与博客信息。