PyPDFLoader(底层使用pypdf)主要是通过提取 PDF 的矢量文本流来工作的。对于扫描版 PDF、纯图片 PDF 或包含复杂排版/渲染表格的 PDF,PyPDFLoader往往提取不到任何有效文本或只能提取出大量空白,从而触发空文档报错。
要彻底解决包含表格、扫描件或复杂图文 PDF的解析问题,通常有以下3 种主流解决方案:
方案 1:使用unstructured模块解析(推荐,支持表格结构提取)
LangChain 官方推荐使用UnstructuredPDFLoader,它能够识别复杂的文档结构(包括表格、列表、标题等),并将其转化为清晰的文本描述。
1. 安装依赖
pipinstall"unstructured[pdf]"2. 替换加载器代码
将from langchain_community.document_loaders import PyPDFLoader替换为UnstructuredPDFLoader:
fromlangchain_community.document_loadersimportUnstructuredPDFLoader# 替换原来的 PyPDFLoader# mode="single" 表示将整份文档合并解析,也可设为 "elements" 按表格/段落拆分loader=UnstructuredPDFLoader(tmp_file_path,mode="single")pages=loader.load()方案 2:使用pdfplumber解析(针对带表格的电子版 PDF)
如果 PDF 是电子生成的(非扫描件),但因为里面有表格导致PyPDFLoader抓取失败或乱码,pdfplumber是提取表格和文本最精准的工具。
1. 安装依赖
pipinstallpdfplumber2. 使用pdfplumber编写增强版 PDF 加载函数
可以直接替换原代码中的PyPDFLoader部分:
importpdfplumberfromlangchain_core.documentsimportDocumentdefload_pdf_with_tables(pdf_path):docs=[]withpdfplumber.open(pdf_path)aspdf:forpage_num,pageinenumerate(pdf.pages):# 1. 提取普通文本text=page.extract_text()or""# 2. 提取表格并转化为 Markdown 格式的文本tables=page.extract_tables()table_texts=[]fortableintables:# 过滤全空行clean_table=[[cellifcellelse""forcellinrow]forrowintableifany(row)]ifclean_table:# 将二维数组表格转换为简单的 Markdown 文本形式forrowinclean_table:table_texts.append(" | ".join(row))full_content=text+"\n\n"+"\n".join(table_texts)iffull_content.strip():docs.append(Document(page_content=full_content,metadata={"page":page_num+1}))returndocs在主流程中调用:
# 3. 加载与解析 PDF 文本(支持表格提取)pages=load_pdf_with_tables(tmp_file_path)os.remove(tmp_file_path)# 清理临时文件方案 3:开启 OCR 支持(针对纯图片/扫描版 PDF)
如果上传的 PDF 是图片扫描件(即没有任何文本层),则必须依赖OCR(光学字符识别)。
1. 安装依赖
需要安装pdf2image和pytesseract(同时需在操作系统安装tesseract引擎):
pipinstallpdf2image pytesseract2. 结合pdf2image+pytesseract的备用提取逻辑
可以在文本提取为空时自动降级到 OCR 模式:
importpytesseractfrompdf2imageimportconvert_from_pathfromlangchain_core.documentsimportDocumentdefload_pdf_with_ocr_fallback(pdf_path):# 先尝试用 pdfplumber 提取docs=load_pdf_with_tables(pdf_path)# 如果提取出的内容为空,说明可能是扫描件/纯图片 PDF,启用 OCR 提取ifnotdocs:images=convert_from_path(pdf_path)docs=[]fori,imageinenumerate(images):# 使用 OCR 识别图片内容(chi_sim 识别中文,eng 识别英文)text=pytesseract.image_to_string(image,lang='chi_sim+eng')iftext.strip():docs.append(Document(page_content=text,metadata={"page":i+1}))returndocs总结
- 如果主要是带有数据表格的电子版 PDF:优先选择方案 2 (
pdfplumber),无需额外安装复杂的系统 C 库,能精准提取表格内容。 - 如果是复杂的排版文档:优先选择方案 1 (
unstructured)。 - 如果包含图片扫描件 PDF:选择方案 3 (OCR 降级处理)。