基于Ollama和LangChain的RAG智能问答系统搭建指南

1. 项目概述：当大语言模型遇上外部知识库

去年第一次在本地部署大语言模型时，最大的痛点就是模型对专业领域知识的"信口开河"。直到尝试了RAG（检索增强生成）架构，才真正让7B参数的"小模型"展现出了超越其体量的专业能力。今天要分享的正是如何用Ollama+LangChain搭建一个能消化企业文档、技术手册甚至个人笔记的智能问答系统。

这个方案最吸引人的地方在于：不需要微调模型就能获得领域知识处理能力。通过将PDF/Word等文档转化为向量数据库，当用户提问时，系统会先检索相关知识片段，再将片段和问题一起喂给大模型生成回答。实测在医疗咨询场景中，采用RAG架构的Mistral-7B模型准确率比裸模型提高了63%。

2. 核心组件选型与原理

2.1 Ollama：本地模型的瑞士军刀

选择Ollama而非直接使用transformers库的原因很实际：

• 内置模型量化功能（支持GGUF格式）
• 统一的REST API接口
• 内存管理更友好（自动卸载闲置模型）

安装时建议使用国内镜像源加速：

curl -fsSL https://ollama.mirror.xyz/install.sh | sh

2.2 LangChain：知识处理的流水线

LangChain的核心价值在于提供了标准化组件：

• Document Loaders：支持PDF/Markdown/HTML等格式
• Text Splitters：按语义切分文档（推荐用RecursiveCharacterTextSplitter）
• Embedding Models：选用bge-small-zh-v1.5中文向量模型
• Vector Stores：ChromaDB的单机版足够应付10万级文档

2.3 RAG架构的工作流程

1. 文档预处理：PDF→文本→语义分块→向量化
2. 查询处理：问题向量化→向量数据库相似度检索
3. 答案生成：将检索结果作为上下文注入prompt

3. 实战搭建步骤

3.1 环境准备

# 最小化依赖 pip install ollama langchain chromadb sentence-transformers pypdf

3.2 文档处理流水线

from langchain.document_loaders import PyPDFLoader from langchain.text_splitter import RecursiveCharacterTextSplitter loader = PyPDFLoader("医疗手册.pdf") text_splitter = RecursiveCharacterTextSplitter( chunk_size=500, chunk_overlap=50, separators=["\n\n", "\n", "。", "！", "？"] ) docs = text_splitter.split_documents(loader.load())

3.3 构建向量数据库

from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import Chroma embedding = HuggingFaceEmbeddings( model_name="BAAI/bge-small-zh-v1.5", encode_kwargs={'normalize_embeddings': True} ) vector_db = Chroma.from_documents(docs, embedding, persist_directory="./med_db")

3.4 实现问答链

from langchain.chains import RetrievalQA from langchain.llms import Ollama llm = Ollama(model="mistral:7b-instruct") qa_chain = RetrievalQA.from_chain_type( llm, retriever=vector_db.as_retriever(search_kwargs={"k": 3}), chain_type="stuff" ) response = qa_chain.run("糖尿病患者应该怎么控制饮食？")

4. 性能优化技巧

4.1 分块策略优化

• 技术文档：按章节标题分块（用MarkdownHeaderTextSplitter）
• 会议纪要：按发言者分块
• 研究论文：摘要/方法/结果分别处理

4.2 混合检索方案

结合关键词搜索与向量搜索：

from langchain.retrievers import BM25Retriever, EnsembleRetriever bm25_retriever = BM25Retriever.from_documents(docs) ensemble_retriever = EnsembleRetriever( retrievers=[vector_db.as_retriever(), bm25_retriever], weights=[0.7, 0.3] )

4.3 缓存策略

• 对高频问题答案进行内存缓存
• 使用SQLite缓存embedding计算结果

5. 常见问题排查

5.1 知识检索失效

症状：返回无关内容 解决方案：

• 检查分块大小是否合适（建议300-800字符）
• 尝试不同embedding模型（如m3e-base）
• 添加query改写步骤

5.2 回答质量低下

症状：回答偏离检索内容 优化方法：

from langchain.prompts import PromptTemplate custom_prompt = PromptTemplate( template="请严格根据以下上下文回答：\n{context}\n问题：{question}", input_variables=["context", "question"] )

5.3 处理长文档技巧

对于超过100页的文档：

1. 先提取目录结构作为元数据
2. 二级分块时保留层级关系
3. 检索时加入章节权重

6. 进阶扩展方向

现在这个基础系统可以进一步升级为：

• 多模态知识库（处理图片/表格）
• 自动更新机制（监控文档变更）
• 对话历史感知（用LangGraph管理会话状态）

实测在16GB内存的MacBook Pro上，这个系统能流畅处理200份医学论文的问答。最惊喜的是，当我把自己的Obsidian笔记库接进去后，模型竟然能准确引用三年前写的技术思考片段——这才是真正的第二大脑。