用Python将MIL-STD-975M标准PDF转为可查询SQLite数据库

简介：MIL-STD-975M(NASA)是1994年发布的美军/NASA联合标准，为空间飞行硬件及关键地面支持设备提供电气、电子和机电（EEE）部件的统一选用与采购基线，适用于航天系统设计师、元器件工程师及可靠性管理人员。标准首先界定标准件、非标准件及优选非标准件，随后对QML（合格制造商清单）的1、2、3级流程入列准则作出规定，并明确了部件应用、质量等级选择、非标准件使用控制及文件冲突处置要求，可有效减少高可靠场景中的选型风险。该完整版PDF共1个文件，文件大小13.61MB，目录涵盖范围、引用文件、定义、一般要求等多层内容，有利于按章节快速检索。已有142人学习浏览，适合宇航级电子元器件管理、产品研制选型及标准培训等场合用作权威参考。

1. 为什么一张没落的 PDF 标准还在消耗研发工时

硬件工程师在选型时最常遇到的一种情况是：手里已经有一份被外部合同引用的 MIL-STD-975M.pdf，却没办法像数据库一样去查它。这份以 NASA 元器件优选清单为底子、后期由军用标准体系维护的文档，核心价值不是原理设计，而是告诉你“哪些元器件在特定任务里被认可，哪些被限制，哪些已经删除”。页数多、表格密、版本跨度大，PDF 里的表格既有真实文本层，也有扫描件或字体错位，导致复制出来的行和列完全对不上。做物料管理、做白盒审查、做替代料比对的人，都得咬着牙用肉眼逐行看。这篇博客就围绕这份 PDF，讲清楚怎么把一个“只能翻”的标准文件，变成“能查、能比对、能留痕”的结构化数据。我会从文档结构开始，落到可运行的 Python 抽取方案、清洗入库和最后一层的版本验证，适合被这种老化标准文档折磨过的一线工程师。

2. 剖析 MIL-STD-975M 的文档物理结构，先定抽取策略

拿到任何一份老标准 PDF，直接写代码抽取是大忌。先花 20 分钟摸清文档结构，能省掉后面一整天的调试时间。MIL-STD-975M 这类文件通常由目录、正文清单、附录三块组成，但 PDF 的物理页序和文档逻辑页码经常不一致，前置页用的是 i、ii、iii，正文从 1 重新开始。这种偏移如果不处理，抽出来的数据就会整体错位。

2.1 这类标准 PDF 的页眉页脚、表格与附录分布规律

老式军用标准文档大多由排版系统生成，版式特征非常稳定。正文部分基本是“每页一个三栏或五栏表格”，表头在每页重复出现，页脚固定是“MONITOR/STATUS”或“PAGE ___ OF ___”这类信息。表格里常见列包括器件型号、生产厂商、状态码、封装、注释，偶尔会有“FIGURE”或“SHEET”跳转列。附录则可能是字母索引、厂商代码对照表或取消件列表，这些区域没有统一表格线，直接套用表格识别会漏行。

另外需要特别留意的是，PDF 可能有多个图层：文字层、扫描底图层、批注层。用 PDF 阅读器能搜到关键词，不代表用代码能按顺序读到文本。我一般先分别检查文字层与图像页分布，再决定用文本流抽取还是用 OCR。判断依据很朴素：如果一页的文字层字符数不足表格应有的三分之一，基本就是扫描页。

2.2 用 PyMuPDF 检查文本层与字体信息，确认是否可抽取

检查文本层的标准工具是 PyMuPDF，也就是fitz。下面这段脚本能在一分钟内输出整份 PDF 的关键物理特征，用来决定抽取路线。

import fitz def inspect_pdf(path): doc = fitz.open(path) print("页数:", doc.page_count) print("元数据:", doc.metadata) for i in range(doc.page_count): page = doc[i] text = page.get_text("text") imgs = page.get_images(full=True) # 文本长度小于 50 字符的页，基本可以判定为扫描页 if len(text.strip()) < 50: print(f"第{i}页: 文本极短({len(text.strip())}字符), " f"图片数={len(imgs)}, 疑似扫描页") # 统计字体种类，官方 PDF 一般只出现 2-3 种字体 if i in (0, 5, 10): # 抽查前几页 fonts = set() for block in page.get_text("dict")["blocks"]: for line in block.get("lines", []): for span in line["spans"]: fonts.add(span["font"]) print(f"第{i}页字体: {fonts}") doc.close() inspect_pdf("MIL-STD-975M.pdf")

这段代码做了三件重要的事。第一件，用page.get_text("text")提取纯文本并统计长度，长度低于 50 字符的页大概率是扫描图，后续要用 OCR 或绕过。第二件，用page.get_images(full=True)检查页内图像数量，辅助判断扫描页。第三件，抽查关键页的字体集合，如果字体超过 5 种，说明文档可能是多个来源拼合而成，表格列宽在不同章节可能不一致，抽取参数要做分段处理。

提示：不要只抽查首页，要抽查正文中段。老标准的首页和附录往往是重新排版的，字体和页边距完全不同。

2.3 根据结构确定按“区域抽取”还是“全文线性抽取”

检查完结构后，选择抽取策略基本遵循一个原则：表格有明确框线且表头稳定，用区域抽取；文档中夹杂大量说明段落，用全文线性抽取再切分。对 MIL-STD-975M 这种以表格为主体的标准，我通常选区域抽取，也就是直接告诉解析器“这一页的 x 坐标范围到 y 坐标范围是表格区域”。

区域抽取的好处是能直接拿到二维行列结构，不需要靠换行符推断列。缺点是参数敏感，原文档左边距稍变，列就可能错位。而全文线性抽取是按阅读顺序拼接文本，代码简单，但列和行的对应关系要靠字段特征硬猜，比如型号通常是“MIL-”开头，状态码是单个大写字母，封装带数字与单位。实践里我更倾向于混合方案：先区域抽取，失败的行再用文本兜底。这也是后续几个章节反复用到的思路——不要迷信某一个库的默认行为。

3. 用 pdfplumber 把元器件清单抽成结构化表格

结构摸清后，正式进入抽取环节。pdfplumber是处理这类老式规则表格最顺手的工具，它的核心能力是读取页面上的线条和字符坐标，再把它们还原成单元格。相比直接调fitz的表格接口，pdfplumber 暴露的参数更直观，调试时能可视化输出每个单元格的边框，这对对齐问题非常有帮助。

3.1 抽取单页表格的最小代码

先给一份能跑的完整代码，定位到指定页并输出 DataFrame。注意这里不直接套用extract_tables()的默认参数，而是显式声明策略，好让后续调整参数时有基线可比。

import pdfplumber def extract_table_from_page(pdf_path, page_index): with pdfplumber.open(pdf_path) as pdf: page = pdf.pages[page_index] # 保留原表线，用 lines 策略 table = page.extract_table({ "vertical_strategy": "lines", "horizontal_strategy": "lines", "snap_tolerance": 3, }) if table is None: return [] # 去掉每页重复出现的表头行 # 判断逻辑：第一个单元格包含 "PART" 或 "型号" 关键词 cleaned = [] for row in table: if row and row[0] and "PART" in row[0].upper(): continue cleaned.append(row) return cleaned rows = extract_table_from_page("MIL-STD-975M.pdf", 30) print(rows[:3])

参数vertical_strategy和horizontal_strategy都设为"lines"，意思是只按页面上的真实线条切分列和行。对于印刷规范的老文档很合适。snap_tolerance=3表示直线距离在 3 磅内的线会被视为同一条线，用来消除印刷毛刺。后面cleaned的逻辑丢弃了每页的表头，避免最终数据里出现几十行“PART NUMBER”。

提示：如果extract_table()返回 None，多半是这一页的表格线被扫描层盖住，检测不到。可以先跑page.lines看线条数量。

3.2 批量遍历多个 PDF，合并 DataFrame，做页码偏移校正

一份标准往往由主文档和修订页组成，修订页的页码并不连续，直接把所有页的表格拼接起来会造成重复和漏项。正确处理方式是把每个 PDF 文件单独抽取，然后按文件名记录来源，再做逻辑页码与物理页码的映射。

import pdfplumber import pandas as pd def extract_all_tables(pdf_path, start_page=0, end_page=None): all_rows = [] with pdfplumber.open(pdf_path) as pdf: total = len(pdf.pages) end_page = end_page or total for page_idx in range(start_page, min(end_page, total)): page = pdf.pages[page_idx] table = page.extract_table({ "vertical_strategy": "lines", "horizontal_strategy": "lines", }) if not table: continue # 记录物理页码和文件名，用于追踪 for row in table: if row and row[0] and "PART" in row[0].upper(): continue all_rows.append([os.path.basename(pdf_path), page_idx + 1] + row) return all_rows

这段代码通过start_page和end_page控制范围，配合page_idx + 1记录物理页码。抽取完成后你会发现，逻辑页码和物理页码经常相差十几页，这是因为前置的修订记录占了大量篇幅。数据处理时不要用物理页码做排序，要按照文档内出现的顺序重新编号，否则后面建索引会出错。另一个常见问题是表格合并单元格，pdfplumber 默认会重复填充单元格值，比如一个跨两行的“-”会出现在第二行里，需要在清洗阶段处理。

3.3 参数怎么调：vertical_strategy、x_tolerance、explicit_vertical_lines

不同页面表格线质量不一时，固定策略会漏行。这时要转向text策略，即按文本字符的位置推断列边界。这个策略在表格线缺失时很有效，但误判率也高。

table = page.extract_table({ "vertical_strategy": "text", "horizontal_strategy": "text", "x_tolerance": 2, "y_tolerance": 3, })

x_tolerance是最值得调的参数。它表示同一列中字符间允许的最大水平间距，单位是磅。老文档表头字符间距大，默认的 3 磅会在“PART NUMBER”中间断列。我一般从 1 逐级调试到 5，观察哪个值让“PART NUMBER”保持完整。y_tolerance控制同一行字符的垂直容差，遇到字体字号不一时，调大它能把同一行的散落文本聚合起来。如果某页表格线结构特殊，直接用explicit_vertical_lines手工指定列线位置，牺牲通用性换准确性。

lines = [page.rects[0].x0, page.rects[2].x0, page.rects[4].x0] table = page.extract_table({ "vertical_strategy": "explicit", "explicit_vertical_lines": lines, })

我实际碰到最多的情况是：一页里前 5 行正常，第 6 行开始表线变浅。这时可以分段抽，前 5 行走lines策略，剩下的行走text策略，最后拼接。不必追求一个参数吃遍全文档。

4. 数据清洗与入库：把混杂文本变成可查询的优选库

表格抽出来只是第一步，原样入库会带来大量问题：器件型号前后有空格、状态码和注释挤在同一单元格、不同页的相同器件被重复收录。直接查你得到的是几百条“-”，而不是能用 SQL 筛选的结果。这个阶段的核心是清洗、去重、构建索引。

4.1 清洗器件型号、状态码与封装字段，用正则归一化

老标准文本的典型脏数据包括：小写字母混入、全角与半角空格、型号中间被插入换行、单位上下标被拆开。下面是针对性的清洗函数：

import re def clean_part_number(raw): if not raw: return "" # 去掉所有空白字符，型号内部不允许有空格 text = re.sub(r"\s+", "", raw) # 转大写，标准型号通常大写 text = text.upper() # 去掉常见误识别字符：竖线和引号 text = text.replace("|", "I").replace("’", "'") return text def clean_status_code(raw): if not raw: return "" # 状态码一般是 1-3 个大写字母或数字 match = re.search(r"[A-Z]{1,3}|\d{1,2}", raw) return match.group(0) if match else "" def clean_package(raw): if not raw: return "" text = raw.strip() # 统一封装描述的分隔符，方便后续分组 text = re.sub(r"[;；/]", " ", text) # 压缩多余空格 text = re.sub(r"\s+", " ", text) return text

clean_part_number里的关键点是“去掉型号内空白”，因为 PDF 表格换行常把型号截断成两段。状态码用正则抓取前 1 到 3 个大写字母，避免把注释整段带进来。封装字段则做分隔符统一，把分号和斜杠都换成空格，方便按封装类型做GROUP BY。

4.2 建 SQLite 表，解决重复器件与版本差异

清洗后建库。SQLite 足够支撑单机查询几万行数据，不需要引入 Postgres。建表时增加来源文件和行号字段，为后续排查错误留证据。

import sqlite3 conn = sqlite3.connect("mil_std_975.db") cursor = conn.cursor() cursor.execute(""" CREATE TABLE IF NOT EXISTS parts ( id INTEGER PRIMARY KEY AUTOINCREMENT, part_number TEXT NOT NULL, status_code TEXT, package TEXT, source_file TEXT, page_no INTEGER, row_no INTEGER, UNIQUE(part_number, status_code, package) ) """) conn.commit()

UNIQUE(part_number, status_code, package)这个约束直接把完全重复的行挡在门外。但要注意，不同页面的同一个器件，其状态码可能不同，一个被标记为“R”，一个标记为“D”，这是版本迭代造成的真实差异，不能简单去重。这里让“型号+状态+封装”唯一，保留不同状态，方便后续做版本验证。

插入数据用executemany批量写入，避免逐行提交导致的速度问题。如果原始行里有缺失值，要先转换成None，否则 sqlite 会报类型错误。

cursor.executemany(""" INSERT OR IGNORE INTO parts (part_number, status_code, package, source_file, page_no, row_no) VALUES (?, ?, ?, ?, ?, ?) """, clean_rows) conn.commit()

4.3 查询示例：按类型、状态、发布时间筛选

基础设施就绪后，下面是三类最常用的查询。按状态筛选，找出所有被限制使用的器件：

SELECT part_number, package, page_no FROM parts WHERE status_code = 'R' ORDER BY part_number;

按器件类型模糊匹配，比如查所有电容器相关条目。LIKE在这里替代人工翻页：

SELECT DISTINCT part_number, status_code FROM parts WHERE part_number LIKE 'MIL-C-%' OR part_number LIKE '%CAP%' ORDER BY part_number;

按页号和来源文件聚合，快速定位某个物理页面的所有条目，适合和原文做人工比对：

SELECT source_file, page_no, COUNT(*) FROM parts GROUP BY source_file, page_no HAVING COUNT(*) > 5;

最后一个查询的HAVING COUNT(*) > 5很有用。如果某页抽出的条目数量异常少，说明表格识别漏列了，该页需要重新调参。这不是数据分析技巧，而是直接拿 SQL 当质量校验工具用。

5. 最后一个技巧：用版本差异对比验证抽取质量，并保留证据链

MIL-STD-975M 这类标准在工程现场通常有多个版本并存，老的 N 版和当前 M 版印刷在同一本手册里。数据入库后，应该立刻做一次全量差异对比——任何一处“看似消失”的器件，都可能来自抽取错误或版本真实变更。最好的验证方法是用dframe集合差异输出新增和删除清单，再看差异行是否落在可疑区域。

import pandas as pd def compare_versions(old_numbers, new_numbers): new_set = set(new_numbers) old_set = set(old_numbers) added = sorted(new_set - old_set) removed = sorted(old_set - new_set) return added, removed # 假设已经从数据库读入两个版本 old_parts = [row[0] for row in cursor.execute( "SELECT part_number FROM parts WHERE source_file LIKE '%N%'")] new_parts = [row[0] for row in cursor.execute( "SELECT part_number FROM parts WHERE source_file LIKE '%M%'")] added, removed = compare_versions(old_parts, new_parts) print("新增:", len(added), "删除:", len(removed))

这段代码的价值不在于 print 结果，而在于把差异限制在可解释的范围内。如果删除数量超过整体条数的 10%，那大概率是 M 版文档页序有变，不是器件真被删了。这时回到原文，用物理页码加 20 页对比，往往能在某个扫描页里找回整段数据。

验证通过后，顺手导出一份标记差异清单，连同源 PDF 页码一起存档。后续有人问“这个器件为什么被标记删除”，直接看清单里的page_no和status_code就能答复，不用再打开 PDF 翻找。这一步不会产生炫酷的可视化，但它把抽取工作从一次性脚本变成了可追溯的工程资产。

本文还有配套的精品资源，点击获取