PP-DocLayoutV3实战案例：高校档案馆扫描件自动分区—

PP-DocLayoutV3实战案例：高校档案馆扫描件自动分区——标题/正文/图表分离

1. 项目背景与痛点

高校档案馆里堆着几十年的老档案，从学生学籍表、成绩单到会议纪要、红头文件，什么都有。这些纸质材料经过扫描，变成了一堆堆的图片文件。数字化是好事，但接下来的活儿就麻烦了。

档案管理员老张就经常头疼。他每天要处理上百页扫描件，手动把每一页里的标题、正文、表格、图片给分出来。为什么？因为后续的OCR文字识别，你得告诉它“这块是正文，你好好认字”，“那块是表格，你得按表格结构来识别”，“这张是图片，不用认字，直接存图”。要是混在一起扔给OCR，识别出来的东西就乱套了——表格里的数字跑到正文里，图片被当成乱码，标题和正文混成一团。

以前的做法，要么是人工在图片上画框标注，费时费力还容易出错；要么用一些简单的规则，比如“靠上的是标题”、“有线条的是表格”，但档案版式千奇百怪，这种规则三天两头就失效。

直到我们遇到了PP-DocLayoutV3。这个模型，简单说，就是个“文档版面分析专家”。你给它一张扫描件的图片，它就能像人眼一样，自动找出哪里是标题、哪里是正文、哪里是表格、哪里是图片，并且把每个区域的精确坐标（像素级）告诉你。

下面，我就带你看看，怎么用这个模型，把高校档案馆里那些复杂的扫描件，自动、准确、快速地分好类。

2. PP-DocLayoutV3核心能力速览

在动手之前，我们先花几分钟，搞清楚PP-DocLayoutV3到底能干什么。它不是OCR，不负责认字，它的专长是“看版式”。

2.1 它能识别哪些东西？

模型经过大量中文文档的训练，能识别十几种常见的版面元素。对我们档案处理来说，最常用的是这几类：

文本 (text)：普通的正文段落，这是最多的部分。
标题 (title,doc_title,paragraph_title)：文档大标题、章节标题、段落小标题。
表格 (table)：各种数据表格，哪怕线条不清晰也能识别出来。
图片/图表 (figure)：文档里的插图、照片、统计图。
页眉/页脚 (header,footer)：每页顶部和底部的重复信息，比如页码、档案编号。

识别出来后，它会为每个区域画一个“框”（Bounding Box），并打上标签。比如，它会告诉你：“从图片的(50, 100)像素到(500, 150)像素这个矩形区域，是一个title，置信度是0.98。” 这个坐标信息，就是我们后续自动化处理的关键。

2.2 它有什么特点？

为中文优化：很多开源版面分析模型是用英文文档训练的，对中文排版（比如标题居中、段落首行缩进两格）不敏感。PP-DocLayoutV3专门针对中文文档优化，识别更准。
精度高：对于印刷清晰、版式相对规范的档案材料（如公文、报表、论文），区域检测的准确率很高。
输出结构化：结果不是一张简单的标注图，而是带坐标和标签的结构化数据（JSON格式），方便程序直接读取和处理。

了解这些，我们就知道该用它来做什么了：把杂乱无章的扫描图片，变成结构清晰的“标题、正文、表格、图片”零件清单。

3. 实战部署：5分钟搭建自动分区服务

理论说再多，不如动手跑起来。得益于封装好的Docker镜像，部署过程非常简单。

3.1 环境准备与一键部署

你不需要自己配环境、装依赖、下模型。平台已经提供了开箱即用的镜像。

获取镜像：在平台的镜像市场里，搜索ins-doclayout-paddle33-v1。
部署实例：点击“部署”按钮。系统会自动创建一个包含完整运行环境的容器实例。
等待启动：实例状态变为“已启动”就成功了。首次启动需要5-8秒加载模型到GPU显存，之后每次调用就很快了。

部署完成后，你会得到两个访问入口：

WebUI界面：端口7860。这是一个可视化操作页面，适合手动上传图片、查看效果。
API服务：端口8000。这是程序调用的接口，我们做自动化批处理主要用它。

3.2 快速功能验证

部署完，我们先通过WebUI看看效果，确保服务正常。

打开WebUI页面，你会看到一个简洁的上传界面。

上传测试图片：找一张典型的档案扫描件图片上传。比如一张包含标题、几段文字和一个表格的学生成绩单。
点击分析：点击“开始分析并标注”按钮。
查看结果：
- 右侧会生成一张标注图。不同颜色的框代表不同元素：
  - 红色框：text(正文)
  - 绿色框：title(标题)
  - 紫色框：table(表格)
  - 橙色框：figure(图片)
- 下方会显示详细的JSON数据，包含每个检测到的区域坐标、标签和置信度。

如果能看到清晰的彩色框和准确的数据，说明服务部署成功，模型工作正常。

4. 核心代码：构建自动化处理流水线

验证通过后，我们就可以编写程序，把这件事自动化了。核心就是调用8000端口的API。

下面是一个完整的Python示例，展示了如何批量处理档案图片，并实现标题、正文、图表分离。

import requests import json import os from PIL import Image, ImageDraw import cv2 import numpy as np class ArchiveDocProcessor: def __init__(self, api_base_url="http://你的实例IP:8000"): """ 初始化处理器 :param api_base_url: PP-DocLayoutV3 API服务地址 """ self.api_url = f"{api_base_url}/analyze" self.headers = {'accept': 'application/json'} def analyze_single_page(self, image_path): """ 分析单张文档图片 :param image_path: 图片文件路径 :return: 分析结果的JSON数据 """ try: with open(image_path, 'rb') as f: files = {'file': (os.path.basename(image_path), f, 'image/jpeg')} response = requests.post(self.api_url, files=files, headers=self.headers) if response.status_code == 200: result = response.json() return result else: print(f"API调用失败: {response.status_code}") return None except Exception as e: print(f"处理图片 {image_path} 时出错: {e}") return None def separate_regions_by_type(self, analysis_result, image_path, output_dir="output"): """ 根据分析结果，将不同区域分离并保存 :param analysis_result: API返回的分析结果 :param image_path: 原始图片路径 :param output_dir: 输出目录 """ if not analysis_result or 'regions' not in analysis_result: print("未检测到有效区域") return # 创建输出目录 os.makedirs(output_dir, exist_ok=True) base_name = os.path.splitext(os.path.basename(image_path))[0] # 打开原始图片 original_img = Image.open(image_path) img_width, img_height = original_img.size # 按区域类型分类 regions_by_type = {} for region in analysis_result['regions']: label = region['label'] if label not in regions_by_type: regions_by_type[label] = [] regions_by_type[label].append(region) # 分离并保存每种类型的区域 for label, regions in regions_by_type.items(): print(f"发现 {len(regions)} 个 '{label}' 区域") # 为每种类型创建一个子目录 type_dir = os.path.join(output_dir, base_name, label) os.makedirs(type_dir, exist_ok=True) # 保存每个区域 for i, region in enumerate(regions): bbox = region['bbox'] # [x1, y1, x2, y2] confidence = region.get('confidence', 0.0) # 确保坐标在图片范围内 x1 = max(0, int(bbox[0])) y1 = max(0, int(bbox[1])) x2 = min(img_width, int(bbox[2])) y2 = min(img_height, int(bbox[3])) # 裁剪区域 region_img = original_img.crop((x1, y1, x2, y2)) # 保存图片 output_path = os.path.join(type_dir, f"{label}_{i+1}_conf{confidence:.2f}.jpg") region_img.save(output_path) # 可选：保存区域元数据 meta_path = os.path.join(type_dir, f"{label}_{i+1}_meta.json") with open(meta_path, 'w', encoding='utf-8') as f: json.dump(region, f, ensure_ascii=False, indent=2) print(f"分离完成！结果保存在: {os.path.join(output_dir, base_name)}") def generate_visualization(self, analysis_result, image_path, output_path="output/visualization.jpg"): """ 生成可视化标注图（可选，用于人工复核） """ # 颜色映射 color_map = { 'text': (255, 0, 0), # 红色 - 正文 'title': (0, 255, 0), # 绿色 - 标题 'doc_title': (0, 200, 0), # 深绿 - 文档标题 'table': (128, 0, 128), # 紫色 - 表格 'figure': (255, 165, 0), # 橙色 - 图片 'header': (255, 255, 0), # 黄色 - 页眉 'footer': (255, 255, 0), # 黄色 - 页脚 } # 打开图片并创建绘图对象 img = Image.open(image_path) draw = ImageDraw.Draw(img) for region in analysis_result.get('regions', []): label = region['label'] bbox = region['bbox'] confidence = region.get('confidence', 0.0) # 获取颜色，默认灰色 color = color_map.get(label, (128, 128, 128)) # 绘制矩形框 draw.rectangle(bbox, outline=color, width=3) # 添加标签文本 text = f"{label} {confidence:.2f}" # 简单处理，确保文本在图片内 draw.text((bbox[0]+5, bbox[1]+5), text, fill=color) # 保存可视化结果 os.makedirs(os.path.dirname(output_path), exist_ok=True) img.save(output_path) print(f"可视化标注图已保存: {output_path}") # 使用示例 if __name__ == "__main__": # 1. 初始化处理器 processor = ArchiveDocProcessor(api_base_url="http://127.0.0.1:8000") # 替换为你的实际IP # 2. 指定要处理的档案图片 archive_image_path = "path/to/your/archive_page_01.jpg" # 3. 调用API进行分析 print(f"正在分析: {archive_image_path}") result = processor.analyze_single_page(archive_image_path) if result: print(f"检测到 {result.get('regions_count', 0)} 个版面区域") # 4. 分离不同区域并保存 processor.separate_regions_by_type(result, archive_image_path, output_dir="archive_output") # 5. 生成可视化标注图（可选） processor.generate_visualization(result, archive_image_path, output_path="archive_output/visualization.jpg")

这段代码做了几件关键事：

调用API：把图片发给PP-DocLayoutV3服务，拿回分析结果。
解析结果：从JSON数据里提取每个区域的坐标、标签。
区域分离：根据标签（title,text,table,figure），把图片对应区域裁剪出来，分别保存到不同的文件夹。
可视化：生成一张带彩色框的标注图，方便人工检查。

运行后，你的输出目录结构会是这样的：

archive_output/ └── archive_page_01/ ├── title/ │ ├── title_1_conf0.98.jpg # 裁剪出的标题图片 │ ├── title_1_meta.json # 标题区域的元数据（坐标、置信度） │ └── ... ├── text/ │ ├── text_1_conf0.95.jpg # 裁剪出的正文段落1 │ ├── text_1_meta.json │ └── ... ├── table/ │ └── table_1_conf0.93.jpg # 裁剪出的表格 ├── figure/ │ └── figure_1_conf0.96.jpg # 裁剪出的图片 └── visualization.jpg # 整页的可视化标注图

这样，一页复杂的档案扫描件，就被自动拆解成了规整的“零件”。

5. 高校档案处理实战技巧与优化

有了基础流程，我们还需要针对高校档案的特点做一些优化，让自动化处理更可靠。

5.1 处理典型档案类型

高校档案种类多，版式差异大。我们可以针对不同类型，微调处理逻辑：

学籍表/成绩单：通常表格密集。可以设定规则，当table区域占比超过一定阈值时，优先按表格处理流程走（比如直接调用表格识别OCR）。
红头文件/公文：标题(title)和页眉(header)非常关键，是归档的重要依据。确保这些区域被准确识别和提取。
论文/报告：结构规整，但可能有复杂的公式(formula)和参考文献(reference)。PP-DocLayoutV3也能识别这些，可以单独分类存放。
老旧档案/手写材料：这是难点。模型对印刷体效果好，对手写体、模糊、污渍的页面，识别率会下降。对于这类材料，建议：
1. 在预处理阶段，尝试用图像增强（如对比度拉伸、去噪）改善质量。
2. 分析后，设置一个较低的置信度阈值（如0.6），低于此阈值的区域，输出到“待人工复核”文件夹。

5.2 构建批处理流水线

档案馆的扫描件都是成百上千页的。我们需要一个稳定的批处理脚本。

import glob import time from concurrent.futures import ThreadPoolExecutor, as_completed def batch_process_archive(folder_path, api_url, max_workers=2): """ 批量处理一个文件夹下的所有档案图片 :param folder_path: 图片文件夹路径 :param api_url: API地址 :param max_workers: 并发线程数（根据API服务能力调整） """ # 支持多种图片格式 image_extensions = ['*.jpg', '*.jpeg', '*.png', '*.bmp'] image_files = [] for ext in image_extensions: image_files.extend(glob.glob(os.path.join(folder_path, ext))) if not image_files: print(f"在 {folder_path} 中未找到图片文件") return print(f"找到 {len(image_files)} 个图片文件，开始批量处理...") processor = ArchiveDocProcessor(api_base_url=api_url) success_count = 0 failed_files = [] # 使用线程池并发处理（注意：模型服务是单实例，并发数不宜过高） with ThreadPoolExecutor(max_workers=max_workers) as executor: future_to_file = {executor.submit(processor.analyze_and_save, img): img for img in image_files} for future in as_completed(future_to_file): img_file = future_to_file[future] try: result = future.result(timeout=60) # 设置超时时间 if result: success_count += 1 print(f"✓ 处理成功: {os.path.basename(img_file)}") else: failed_files.append(img_file) print(f"✗ 处理失败: {os.path.basename(img_file)}") except Exception as e: failed_files.append(img_file) print(f"✗ 处理异常 {os.path.basename(img_file)}: {e}") print(f"\n批量处理完成！") print(f"成功: {success_count}/{len(image_files)}") if failed_files: print(f"失败文件列表: {failed_files}") # 在ArchiveDocProcessor类中添加一个整合方法 def analyze_and_save(self, image_path): """整合分析、分离、可视化的单个文件处理流程""" result = self.analyze_single_page(image_path) if result: self.separate_regions_by_type(result, image_path) # 可选：是否生成可视化图 # self.generate_visualization(result, image_path) return True return False

这个批处理脚本可以一次性处理整个文件夹的档案图片，并支持有限的并发，提高效率。

5.3 与下游OCR流程对接

版面分析的最终目的是为OCR服务。分离出纯净的文本区域后，识别准确率会大幅提升。

def feed_to_ocr(region_image_path, region_meta, ocr_engine): """ 将分离出的区域送给OCR引擎识别 :param region_image_path: 裁剪出的区域图片路径 :param region_meta: 该区域的元数据（包含坐标、标签） :param ocr_engine: 配置好的OCR引擎（如PaddleOCR） """ label = region_meta['label'] # 根据不同区域类型，采用不同的OCR策略 if label == 'text': # 正文：直接识别，可能需要进行后处理（如段落合并） text_result = ocr_engine.ocr(region_image_path, cls=False) # 提取文本行并合并 full_text = '\n'.join([line[1][0] for line in text_result[0]]) return {'type': 'text', 'content': full_text, 'bbox': region_meta['bbox']} elif label == 'table': # 表格：使用专门的表格识别模型或OCR # 这里需要更复杂的处理，可能调用PP-Structure等 print(f"检测到表格区域，建议使用表格识别专用模型处理: {region_image_path}") return {'type': 'table', 'image_path': region_image_path, 'bbox': region_meta['bbox']} elif label in ['title', 'doc_title']: # 标题：识别后可以标记为更高层级 text_result = ocr_engine.ocr(region_image_path, cls=False) title_text = ' '.join([line[1][0] for line in text_result[0]]) return {'type': 'title', 'content': title_text, 'level': 'doc', 'bbox': region_meta['bbox']} elif label == 'figure': # 图片：不进行OCR，直接保存或记录 return {'type': 'figure', 'image_path': region_image_path, 'bbox': region_meta['bbox']} # ... 处理其他类型

通过这样的对接，我们就能构建一个完整的档案数字化流水线：原始扫描图 -> PP-DocLayoutV3分区 -> 各区域分类 -> 针对性OCR/处理 -> 结构化数据入库。