很多开发者做 Agent 应用，第一反应就是把用户输入直接丢给大模型。跑起来确实快，但上线第一天成本报表就会教你做人。今天聊一个被严重低估的工程问题——意图识别，以及怎么设计一套分层路由，让 80% 的请求根本不需要碰大模型。
01 先搞清楚：意图识别到底在识别什么
很多人以为意图识别就是"分类问题"，这个理解太浅了。
意图识别不是给用户消息贴个标签就完事，它的核心是：判断这个请求应该由哪一层来处理。
举个例子，用户说"你好"。
- 如果直接走大模型，token 花了，响应慢了 800ms，用户等了半秒收到一句"你好，请问有什么可以帮您？"
- 但你用规则匹配，1ms 返回同样的问候，成本为零，用户体验还更快。
这就是意图识别要解决的根本问题：不是识别用户说了什么，而是识别"这个问题值不值得花大模型的钱来答"。
它本质上是一个路由决策——把每一条用户输入，分配到最经济、最高效的处理通道上。
02 为什么不能所有请求都走大模型
先算一笔账。假设你的 Agent 日活 1 万，平均每人每天 10 轮对话：
| — |
| 指标 | 全部走大模型 | 分层路由后 |
|---|---|---|
| 日请求量 | 10 万次 | 10 万次 |
| 大模型调用占比 | 100% | 约 20% |
| 单日 Token 消耗 | 约 800 万 | 约 160 万 |
| 月成本估算 | 高 5 倍 | 低 5 倍 |
| 平均响应延迟 | 1.5~3 秒 | 0.1~0.5 秒（80% 请求） |
这还只是成本。更重要的是用户体验——80% 的用户其实只在问重复性问题：“你们营业时间几点？”“怎么退款？”"这个功能怎么用？“这些问题用 FAQ 匹配或者小模型就能精准回答，根本不需要大模型来"理解”。
大模型应该用来处理真正需要推理、创作、复杂对话的那 20% 请求，而不是被淹没在海量重复问题里。
03 合理的架构：三层路由漏斗
一套成熟的意图识别系统，不是单层的，而是一个漏斗式分层架构。越往上越便宜、越快；越往下越聪明、越贵。
第一层：规则 / 关键词匹配（拦截率约 50%）
这是最外层，也是最便宜最快的一层。适合处理：
- 固定问候语：“你好”“在吗”“hi”
- 高频 FAQ：“营业时间”“怎么退款”“价格多少”
- 明确指令：“退出”“重置”“返回主菜单”
实现方式：正则表达式 + 关键词词典 + 模糊匹配（编辑距离/拼音容错）。
关键设计点：
- 匹配阈值要留余量，比如相似度 ≥ 90% 才直接路由到规则回复，否则放行到下一层
- 规则要支持运营后台可配置，不要硬编码在代码里
- 维护一份"规则命中率日志"，定期把高频未命中的请求补进规则库
第二层：轻量分类模型（再拦截约 30%）
规则搞不定的、语义更复杂的意图，交给小模型分类器。
可选方案：
TextCNN / FastText 等传统文本分类模型
：训练快，推理极快，几毫秒出结果
Embedding 向量匹配
：把历史 FAQ 向量化，用户问题做相似度检索，Top-K 相似度够高就直接用 FAQ 答案
小参数 LLM
：比如 7B 级别的开源模型，做意图分类任务足够用，成本只有 GPT-4 的几十分之一
这一层的核心价值：解决"说人话"的问题。用户说"我东西买了三天还没到"，规则匹配不到"物流查询"这个关键词，但小模型一分类就知道是物流相关问题。
第三层：大模型兜底（处理最后 20%）
前两层都没命中、或者置信度都不够高的请求，才送到大模型。
这一层才是大模型真正该干的活：
- 需要多轮上下文推理的复杂问题
- 需要创作、总结、分析的任务
- 前两层都识别不准的边缘 case
关键设计：大模型的输出也要打标签，回流到训练数据里，持续优化前两层的准确率。
04 落地实现：Spring AI 伪代码示例
@Servicepublic class IntentRouterService { @Autowired private RuleMatchService ruleMatchService; @Autowired private FastTextClassifier smallModelClassifier; @Autowired private ChatModel chatModel; @Autowired private FaqService faqService; public String route(String userInput, String sessionId) { // 第一层：规则匹配 Optional<String> ruleResult = ruleMatchService.match(userInput); if (ruleResult.isPresent()) { return ruleResult.get(); // 直接返回，1ms 级 } // 第二层：小模型分类 + FAQ 检索 Intent intent = smallModelClassifier.classify(userInput); if (intent.getConfidence() > 0.85) { String faqAnswer = faqService.getAnswer(intent.getCategory(), userInput); if (faqAnswer != null) { return faqAnswer; // 小模型 + FAQ，几十ms } } // 第三层：大模型兜底 return chatModel.call(userInput); }}几个容易踩的细节：
阈值不要一刀切
：高置信度直接路由，低置信度才放行，中等置信度可以加个"您是想问XXX吗？"的确认环节
日志一定要全
：每一条请求走了哪一层、置信度多少、用户有没有接受答案，全部记下来，这是你后续优化的弹药
小模型要持续训练
：每周把大模型处理过的、标准化的问答对，拿来微调小模型，越跑越准
05 成本与延迟对比：差距到底有多大
从工程角度看，三层架构的收益不是"省了点钱"这么简单，它是一个系统性优化：
成本侧
：80% 的请求用规则和小模型处理，大模型调用量直接砍到原来的 1/5 甚至更少
体验侧
：大部分用户请求在 100ms 内得到响应，只有复杂问题才需要等大模型的"深思熟虑"
稳定性侧
：大模型挂了、限流了，前两层还能顶住基本盘，不至于整个服务直接不可用
06 三个最容易踩的坑
坑一：规则写得太死，把正常用户问法全拦错了
很多人写规则喜欢精确匹配，用户说"我想退钱"匹配不到"退款"两个字，直接放行到下一层，等于白做。
正确做法：规则层用模糊匹配 + 同义词词典，宁可漏过，不能错杀。漏过的问题会被下一层接住，错杀的问题用户会直接收到错误答案。
坑二：小模型分类器训练数据太少，形同虚设
很多人拍脑袋列了 10 个意图类别，每个类别写了 20 条测试用例，就觉得"我有小模型了"。
真相：分类器要准，每个意图至少需要几百条标注数据。前期可以用大模型批量生成标注数据来冷启动，再用真实用户行为数据持续迭代。
坑三：只做正向路由，不做回流优化
意图识别系统不是一次部署就完事的。大模型处理过的请求，里面藏着大量"应该被小模型接住但没接住"的样本。
必须做的事：每周分析大模型处理的请求日志，把那些"其实是 FAQ"的 case 捞出来，补充到规则库或者小模型训练集里。这个闭环跑起来，你的路由准确率才会持续上升。
07 判断框架：你的 Agent 该不该上意图识别
不是所有场景都值得做三层路由。给你一个简单的判断清单：
值得做的信号：
- 日活超过 1000，或者大模型月成本超过你能接受的阈值
- 用户问题有明显的重复模式，很多人问类似的问题
- 对响应延迟敏感（比如客服场景、对话式产品）
可以缓一缓的信号：
- 还在做 MVP，日活不到 100，先跑起来再说
- 用户问题非常分散，80% 都是个性化问题，规则和小模型根本兜不住
- 团队里没有人熟悉 NLP 工程化，维护成本比省下的钱还多
写在最后
意图识别本质上不是一个"AI 技术问题"，而是一个工程经济学问题。
它要回答的不是"怎么把意图识别得最准"，而是"用什么成本，在什么置信度下，把请求路由到最合适的处理器上"。
大模型很贵，很慢，很金贵。别让它干 80% 的重复劳动。
把简单问题交给规则，把中等问题交给小模型，把真正复杂的问题留给大模型——这才是一个成熟 Agent 系统该有的样子。
学AI大模型的正确顺序，千万不要搞错了
🤔2026年AI风口已来！各行各业的AI渗透肉眼可见，超多公司要么转型做AI相关产品，要么高薪挖AI技术人才，机遇直接摆在眼前！
有往AI方向发展，或者本身有后端编程基础的朋友，直接冲AI大模型应用开发转岗超合适！
就算暂时不打算转岗，了解大模型、RAG、Prompt、Agent这些热门概念，能上手做简单项目，也绝对是求职加分王🔋
📝给大家整理了超全最新的AI大模型应用开发学习清单和资料，手把手帮你快速入门！👇👇
学习路线:
✅大模型基础认知—大模型核心原理、发展历程、主流模型（GPT、文心一言等）特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架（LangChain等）实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经
以上6大模块，看似清晰好上手，实则每个部分都有扎实的核心内容需要吃透！
我把大模型的学习全流程已经整理📚好了！抓住AI时代风口，轻松解锁职业新可能，希望大家都能把握机遇，实现薪资/职业跃迁～
