旧书数字化与AI数据管线：从扫描件到高质量训练语料

如果你关注人工智能行业动态，最近很可能刷到过一个话题：一些AI公司正在大量购买旧书，扫描完内容之后，甚至还会把纸质原书直接销毁。很多人把它当成猎奇新闻，但从数据工程师的视角看，这背后真正指向的，是当前大模型训练中一个比算力更棘手的问题——高质量、低风险、格式干净的文本数据，正在变得越来越稀缺。

这篇文章不打算去讨论“买旧书是不是行为艺术”，而是想把这个现象拆成一条可以复刻的数据工程链路：从纸质书扫描件，到OCR识别，再到文本清洗和结构化语料。无论你是在做RAG方案、微调语言模型，还是给企业搭建行业知识库，这套思路都能帮你摆脱对公开爬虫数据的依赖，让数据管线变得可控、可审计、可复盘。

先说清楚边界：这篇文章讲的是数据工程技术，不是盗版教程。旧书能不能扫描、能不能用于训练，首先取决于版权归属。我会在第6部分专门讲合规问题，这里先把工程链路拆开。

1. AI公司为什么盯上旧书：稀缺的不是数据，而是“干净数据”

1.1 公开爬虫数据正在变脏

过去几年，很多模型团队训练数据的主要来源是网络爬虫。Common Crawl这种公开数据集动辄几十TB，看起来取之不尽。但真正用过的人都知道，原始网页文本里充满了导航栏、广告、Cookie提示、乱码HTML标签、机器生成的评论，以及大量重复的段落。模型吃这些数据，虽然也能训练，但会学进很多噪声，处理长文本和逻辑推理时尤其明显。

更麻烦的是，随着生成式AI普及，网络上由模型生成的文本越来越多。如果继续从公开网页抓数据，很容易出现“模型读模型写的内容，再产出新内容”的闭环污染。结果就是训练分布越来越偏，模型变得“自说自话”。OpenAI、Anthropic这些团队早就注意到这个问题，所以在寻找更稳定、更有信息密度的数据源。

旧书正好提供了这样一个来源。它有几个网络文本很难替代的特点：

• 内容是经过编辑、校对、出版流程的，语言质量高，噪声少。
• 文本是长程结构化的，有目录、章节、段落、脚注，非常适合训练模型理解长文档。
• 很多旧书已经进入公共领域，版权链条清晰，可以合法用于商业模型训练。
• 时间跨度大，覆盖了几十年甚至上百年的知识分布，等于给模型提供了一段“历史样本”。

所以，AI公司买旧书，本质上不是“怀旧”，而是在做数据资产配置：用价格便宜的旧书，换一批干净、稳定、有版权保障的文本语料。

1.2 “扫描后销毁”的几种可能解释

“Destroying Old Books”这个说法很容易被误解为刻意销毁文化遗产。更合理的解释有好几种。

第一种是拆书扫描。专业书籍扫描并不是把书放在平板扫描仪上一页页翻，而是先用裁纸机把书脊裁掉，再用高速扫描仪走自动进纸。这个过程几乎必然损毁原书。对AI公司来说，书只是数据载体，扫描完成、图像入库后，纸书就没有留存价值了。

第二种是数据独占的考量。如果一本书被扫描并进入语料库，公司不希望竞争对手也买到同样的书、得到同样的数字版本。销毁纸书等于减少数据被二次采集的可能。这种做法是否合理另说，但商业逻辑上是说得通的。

第三种是成本问题。旧书仓库的存储、整理、运输都要花钱。扫描完之后，原书继续保留只会增加库存成本，不如直接进入回收环节。

所以“销毁”并不是目的，而是数据生产线上的副产品。理解了这一点，再看新闻就不会只停留在“资本家浪费书”的情绪层面，而是能看到背后的数据供应链逻辑。

1.3 谁最应该关注这个问题

如果你是做算法训练的，旧书数字化能解决语料库“缺长文本、缺高质量文本”的问题；如果你是做RAG应用的，旧书数据可以成为垂直领域知识库的稳定底座；如果你是做数据治理的，这套管线的元数据管理、版权台账、质量评估方法也值得借鉴。

一句话总结：买旧书这件事，解决了模型训练中“干净数据从哪里来”的难题。技术人员的重点，不是讨论书该不该烧，而是想清楚如何从一本书里稳定地提取出可用的结构化文本。

2. 旧书数字化是一条数据管线，而不是一次扫描

很多人以为旧书数字化就是“扫描PDF，跑一下OCR，拿到文本”。真做起来会发现，从扫描件到能进模型的语料，中间至少隔着六七个环节，每个环节都有坑。

2.1 管线全景

我把这条管线拆成七个步骤：

2.2 每个环节容易被低估的地方

选书阶段，最容易被低估的是版权筛查。公版书可以直接用，但“公版”在不同法域下的计算方式并不相同，还有翻译版、注释版、影印版的独立版权。这个过程不能拍脑袋，需要记录ISBN、出版年份、作者死亡年份等信息。

扫描阶段，普通平板扫描机速度太慢，只适合少量页面。批量生产会用专业扫描仪或裁书机。图像分辨率一般建议300DPI以上，太低时OCR小字号会大量出错。倾斜、阴影、手指遮挡都是常见问题。这步如果做得不好，后面OCR再怎么调都很难挽回。

OCR阶段，Tesseract、PaddleOCR、商业OCR都能用，但识别古旧书籍中的花体、注音符号、特殊字体时，通用模型往往效果不稳定。需要根据语料语言选择语言包，或者用专门的古籍OCR模型。

版面还原是一个很容易被忽略的环节。旧书排版的复杂度远超预期：双栏、页眉页脚、注释、索引、表格插图。如果OCR只是把文字按行输出，目录和正文、注释和正文全混在一起，模型学习时会学到错误的结构信息。

文本清洗也不只是去掉换行。旧书里经常出现断词、连字符、坏编码、全半角混乱、OCR把“rn”识别成“m”等问题。这些微观噪声会直接拉低模型在下游任务上的表现。

到最后一步，语义结构化才真正体现数据工程的价值。比如你想让模型学会“从目录生成书籍摘要”，那就要把版面还原出的标题层级和正文段落重新组织成训练样本。没有这一步，OCR到的文本只能叫“电子文稿”，还不能叫“训练集”。

所以，买旧书、扫描只是开头。真正决定项目成败的，是OCR之后的整条处理链路。

3. 环境准备与工具链选型

3.1 运行环境

本文示例在Linux环境演示，Windows和macOS基本同样可用，只需要注意Tesseract的安装方式和OCR引擎的本地依赖。

• Python 3.10 或更高版本
• pip 依赖管理
• Tesseract OCR 5.x（建议）
• 可选：PaddleOCR 2.x 或更高版本（需要Python环境支持）

建议先建一个独立的虚拟环境，避免依赖冲突。

python3 -m venv book-digital-env source book-digital-env/bin/activate pip install --upgrade pip

3.2 OCR引擎选型对比

从实践角度看，最小可行方案是Tesseract。它安装简单，单页处理快，适合先把流程跑通。等真正处理中文古籍或复杂版面时，再引入PaddleOCR也不迟。

3.3 安装与验证

以Debian/Ubuntu为例，先安装Tesseract本体和中文语言包：

sudo apt update sudo apt install -y tesseract-ocr tesseract-ocr-chi-sim tesseract-ocr-eng

Windows用户可以从Tesseract官方仓库下载安装包，并把tesseract.exe所在目录加入PATH。macOS用户可以用Homebrew安装：

brew install tesseract tesseract-lang

随后安装Python依赖：

pip install opencv-python pytesseract python-Levenshtein

如果要用PaddleOCR：

pip install paddlepaddle paddleocr

验证安装是否成功：

python -c "import pytesseract; print(pytesseract.get_tesseract_version())" tesseract --list-langs

如果--list-langs能列出eng和chi_sim，说明语言包安装正常。这里要提醒一点：不同Linux发行版的软件源版本不同，安装版本请以实际环境为准。

4. 完整示例：从扫描页到结构化数据集

这一节，我用一个最小示例把核心流程跑通。假设你手上有一批扫描好的旧书页面图片，放在scans/目录里，文件名为page_001.png这种形式。

4.1 第一步：图片预处理与OCR提取

先写一个函数，负责读取图片、灰度化、二值化并调用Tesseract。

# 文件路径：src/ocr_page.py import cv2 import pytesseract from pathlib import Path def preprocess_and_ocr(image_path: str, lang: str = "eng") -> str: # 1. 读取图片，检查是否成功 img = cv2.imread(image_path) if img is None: raise FileNotFoundError(f"无法读取图片: {image_path}") # 2. 转灰度，降低颜色信息干扰 gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 3. 使用Otsu自动阈值做二值化，增强文字与背景的对比度 _, thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU) # 4. 调用Tesseract识别文本 # --psm 6 表示“假设是一个均匀的文本块” text = pytesseract.image_to_string(thresh, lang=lang, config="--psm 6") return text if __name__ == "__main__": print(preprocess_and_ocr("scans/page_001.png", lang="eng"))

这段代码里值得注意的有两点。一是cv2.threshold配合THRESH_OTSU可以自动计算二值化阈值，对扫描件这种背景基本均匀的图片效果不错；二是--psm 6只适合简单排版的页面，如果处理双栏旧书，需要改成其他Page Segmentation Mode，或者跳过它直接做版面分析。

4.2 第二步：用PaddleOCR做版面级识别（可选）

当Tesseract在中文或复杂版面上效果不好时，可以切到PaddleOCR。PaddleOCR的优势是自带文本检测与方向分类，能拿到每一行文本的位置信息，方便后续重建版面结构。

# 文件路径：src/paddle_ocr_page.py from paddleocr import PaddleOCR def init_ocr(lang: str = "ch"): # 注意：不同版本的PaddleOCR初始化参数略有差异，请以当前版本为准 return PaddleOCR(use_angle_cls=True, lang=lang, show_log=False) def extract_with_paddle(image_path: str, ocr_engine): result = ocr_engine.ocr(image_path, cls=True) lines = [] if not result: return lines # 新版PaddleOCR的返回结构可能变化，通常result[0]代表当前图片 for page in result: for line in page or []: # line结构大概为 [坐标信息, (文本, 置信度)] text = line[1][0] lines.append(text) return lines if __name__ == "__main__": engine = init_ocr("ch") for line in extract_with_paddle("scans/page_001.png", engine): print(line)

这段代码只是参考。PaddleOCR从2.x到3.x的API发生过变化，例如新版本用predict()替代ocr()，返回的数据结构也不同。生产项目中，一定要先打印一次返回结构，确认字段再写解析逻辑。

4.3 第三步：文本清洗与编码规整

OCR输出往往夹杂着控制字符、全角半角混用、多余空白，以及大量只有标点的垃圾行。清洗是数据质量的生命线。

# 文件路径：src/clean_text.py import re import unicodedata CONTROL_CHARS = re.compile(r"[\x00-\x08\x0b\x0c\x0e-\x1f\x7f]") MULTI_SPACE = re.compile(r"[ \t\u3000]{2,}") PUNCT_ONLY_LINE = re.compile(r"^\W+$") def clean_ocr_text(raw: str) -> str: # 1. Unicode标准化，把全角字符统一为半角 text = unicodedata.normalize("NFKC", raw) # 2. 删除控制字符 text = CONTROL_CHARS.sub("", text) # 3. 把连续空格或全角空格压成单个空格 text = MULTI_SPACE.sub(" ", text) # 4. 统一换行符 text = text.replace("\r\n", "\n") # 5. 去掉只有标点的行，保留有效文本行 lines = [line.strip() for line in text.splitlines()] lines = [line for line in lines if line and not PUNCT_ONLY_LINE.match(line)] return "\n".join(lines)

清洗逻辑的取舍非常重要。比如NFKC标准化会把中文全角标点转成半角，在英文场景是好事，但如果你的下游模型需要保留原始标点风格，就要谨慎。控制字符一定要删，否则写入JSONL时可能出现JSON解析错误。

4.4 第四步：把清洗结果写成JSONL

训练数据普遍采用JSONL格式，每行一条记录，方便切分、去重和流式读取。

# 文件路径：src/build_dataset.py import json from pathlib import Path from ocr_page import preprocess_and_ocr from clean_text import clean_ocr_text def build_jsonl(image_dir: str, output_file: str, lang: str = "eng") -> None: image_dir = Path(image_dir) output_path = Path(output_file) with output_path.open("w", encoding="utf-8") as f: for img_path in sorted(image_dir.glob("*.png")): raw_text = preprocess_and_ocr(str(img_path), lang=lang) clean_text = clean_ocr_text(raw_text) record = { "id": img_path.stem, "source": "book_scan", "lang": lang, "text": clean_text, "meta": { "page_file": img_path.name } } f.write(json.dumps(record, ensure_ascii=False) + "\n") if __name__ == "__main__": build_jsonl("scans/", "dataset.jsonl", lang="eng")

这段代码假设所有图片是同一本书。实际项目中，建议把book_id、chapter、page_number这些元数据一并写入meta字段，方便后续做数据溯源和质量回滚。

4.5 运行

python src/build_dataset.py

运行完成后，dataset.jsonl会出现在项目根目录。

5. 运行结果与质量验证

5.1 预期输出样例

dataset.jsonl中每一行类似：

{"id": "page_001", "source": "book_scan", "lang": "eng", "text": "The history of artificial intelligence is...", "meta": {"page_file": "page_001.png"}}

如果页面是中文，输出也是UTF-8编码的原始中文。这里能直接发现的问题有几种：文本整行为空、出现大量乱码、句子被截断、双栏内容串行。出现这些问题时不要急着清洗，先回到OCR参数层面排查。

5.2 用CER粗评OCR质量

OCR质量不能只看“认出了多少字”，还要看“错字率”。最常用的粗粒度指标是字符错误率CER，即编辑距离除以参考文本长度。

# 文件路径：src/compute_cer.py from Levenshtein import distance def compute_cer(ref: str, hyp: str) -> float: if not ref: return 0.0 if not hyp else 1.0 return distance(ref, hyp) / len(ref) if __name__ == "__main__": # 模拟一个参考文本和OCR结果 ref = "人工智能是研究如何让计算机模拟人类智能的科学" hyp = "人工智 能是研究如何让计算机模拟人类智 能的科学" print(compute_cer(ref, hyp))

CER越小越好。一般商用中文OCR的CER可以做到1%到5%之间；扫描质量很差的旧书，CER到20%也不奇怪。这时候就需要优化图像预处理、语言包，或者切换到PaddleOCR。

5.3 人工抽检不可替代

自动化指标只能发现规律性问题。旧书里经常出现专有名词、旧体字、注音符号，OCR会“自信地”给出错误结果，这种错误无法用CER发现，只能靠人工抽检。

建议每100页抽5页左右，把OCR文本和原图对照检查。重点看三个地方：标题是否被识别成正文、注释是否被插到正文中间、跨页段落是否被截断。这些结构问题对模型训练的影响，往往比单个错字更大。

6. 版权、隐私与合规边界

6.1 先确认数据权利

这是整条管线里最重要、也最容易被忽略的环节。旧书不等于公版书，公版书也不等于可以随意商用。

具体来说，要记录以下信息：

• 作者姓名、去世年份，用于判断版权是否进入公共领域。
• 出版社和出版年份，判断是否有新版、注释版、翻译版等额外版权。
• 影印来源，防止二手书商提供的扫描件本身就来自侵权资源。
• 使用场景，内部研究、商用模型、开源数据集的合规要求完全不同。

合理的方法是建立一张版权台账。每一批书入库前，先由选书人填写上述信息，再由合规角色审核。没有台账，数据训练出了成绩还好说，一旦被投诉，连“书从哪里来”都说不清。

6.2 “销毁”与数据独占的争议

文章开头提到“扫描后销毁”的现象，从工程上说得通，从文化和商业上却有很大争议。一方面，纸书被拆毁后，扫描件成为唯一数字资产，公司可以获得独占性；另一方面，大量旧书是公共文化资源，扫描后销毁会减少原始载体，一旦数字文件丢失，内容就真的消失了。

从技术团队的角度，更稳妥的做法是：扫描后保留一份“物理存证”或者至少保留高分辨率母版图像，并单独存档。即使纸书被裁开，高清晰度数字母版也可以替代纸书完成大部分资料查阅功能。这既满足工程效率，也降低文化争议。

6.3 技术团队的合规要点

• 不要把来路不明的扫描PDF直接灌进训练集。
• 不要以为从二手书市场买的书就是合法训练数据。
• 不要在网上公开分享受版权保护的扫描件。
• 内部训练可以更灵活，但商用部署前务必做版权复核。
• 建立数据删除和撤回机制，一旦版权方提出异议，能够快速从训练流程中剔除对应数据。

合规不是法务一个部门的事。工程师在写数据管线时，就应该把版权字段、来源字段、授权状态字段设计进Meta信息里。

7. 常见问题与排查思路

这几个问题里，最坑的是双栏书籍。Tesseract的--psm 6假设整页只有一个文本块，遇到双栏文档会把左栏底部和右栏顶部拼接成一句话。这时要么关掉自动分页模式，用坐标信息自己排序；要么直接用PaddleOCR这类带版面分析的引擎。

第二个容易踩坑的地方是Tesseract版本。apt安装的Tesseract版本可能偏旧，导致个别语言包或PSM模式不可用。建议参考官方文档安装最新稳定版，不要追求方便直接apt装完就付之东流。

8. 最佳实践与工程建议

8.1 元数据与版本管理

训练数据是可复现实验的基石。每一份JSONL都要有版本号、生成时间、脚本commit hash，以及原始图片路径。建议用DVC这类数据版本管理工具，把数据集本身纳入版本控制。否则三个月后想复现某个实验结果，你会发现自己根本不知道跑了哪版数据。

8.2 质量抽检机制

质量抽检不能只靠上线前一次性检查。建议在管线里加入自动抽检采样模块：每处理500页就随机抽10页，计算全页CER，并且触发人工复核。CER超过阈值时，系统自动暂停该批次入库，等人工调整参数后再继续。

8.3 成本控制

扫描和OCR的成本集中在两个地方：硬件和人工复核。

硬件方面，高速扫描仪是主要投入。如果只是小批量试验，使用平台扫描仪也能跑通，但要注意控制DPI在300以上。OCR推理阶段，Tesseract可以跑CPU，PaddleOCR在GPU上更快。如果数据量是几十万页，建议提前评估GPU成本，不要无脑上GPU集群。

人工复核成本通常被低估。OCR准确率越高，复核成本越低，因此在OCR阶段花时间调参比在训练结束后清洗数据更划算。把预算花在质量更好的扫描、更高精度的OCR引擎上，往往比投入大量人力清理垃圾数据更有效率。

8.4 安全与最小权限

数据管线涉及纸质书采购、扫描件存储和模型训练，会有很多敏感环节。建议遵循最小权限原则：测量人员只访问扫描设备，OCR工程师只触碰图像和文本，模型训练环境不要开放公网访问。扫描完成的母版图像要有离线备份，防止硬盘故障把唯一数字副本丢掉。

涉及删除、覆盖等高风险操作时，先在小范围测试，确认无误后再加上“软删除”机制：不要把原文件直接删除，而是移动到回收目录，保留回滚能力。

8.5 上线前检查清单

• 版权台账是否完整，有没有页面能展示每一本书的授权状态。
• 元数据字段是否包含book_id、page、lang、source_type。
• 清洗脚本是否通过一批手工标注样本的正确率验证。
• JSONL是否有去重，有没有跨页面重复段落。
• 是否有删除与回滚流程，版权方投诉时能否快速生效。
• 是否有OCR质量抽检记录，CER指标是否被定期追踪。

9. 总结与下一步

回到最初的问题：AI公司为什么买旧书，还会把旧书销毁？答案不是“资本有病”，而是高质量训练数据已经变成一种需要像采矿一样投入成本去开采的资源。旧书提供了一种网络爬虫给不了的东西：稳定、干净、结构化、版权清晰的文本。而“销毁”只是这个开采工艺中的副产品，不是目的。

对开发者来说，这篇文章中最值得带走的是那条完整管线：选书与版权筛查、扫描、OCR、版面还原、清洗、结构化、入库。任何一个环节的缺失，都会让数据质量在模型训练时暴露出来。下一步，建议你先用一两本公版书跑通最小示例，手动对比OCR输出和原书内容，体验从图像到数据集的完整过程。先把这条管道养熟，再考虑扩大规模。

如果后续要在业务中落地，可以继续深入三个方向：第一，版面分析模型如何与OCR引擎协同；第二，如何从结构化书籍文本自动生成指令微调数据；第三，数据版本管理与模型实验追踪如何打通。数据质量永远决定模型上限，本书数字化只是其中一条值得长期投入的路。