手写文字擦除实战：U-Net掩码修复与Python实现全解析

简介：手写文字擦除赛题第1名方案，完整提供Python源码、数据模型及说明文档，面向从事OCR、文档图像处理或深度学习修复的开发者与竞赛选手。方案基于开源EraseNet改造为Paddle实现，并通过与PERT的对比实验验证了在本批次数据上的优势；包含数据划分策略、mask生成逻辑（按RGB平均差值生成软掩码）以及多分支多阶段网络结构、感知损失与GAN损失等关键细节。针对红黑蓝多色手写字、印刷字重叠、试卷污渍等难点，方案在训练数据与网络设计上均有对应处理。压缩包共30个文件，以22个py源码、3个sh训练/测试脚本、2个readme及模型zip、说明txt/md为主，整体仅98KB，轻量便于快速部署复现；从数据预处理到模型训练、测试与模型转换均有覆盖，目录结构清晰，适合作为复现与二次开发的基线。该资源已有694人学习，适合希望借鉴冠军思路、加速自研手写擦除与文字背景修复的读者。

1. 手写文字擦除，为什么“第1名方案”也要自己重新调数据

手写文字擦除这活儿，看着像图像修复，实际上比普通修复难一截：印刷体是规则的，手写体的粗细、倾斜、压线毫无规律，擦多一步就会把印刷体带走，擦少一步又残留半截笔画。所谓“第1名方案”，本质上也不是一个模型打天下，而是把数据模型、掩码策略和损失权重抠到了细节：训练时怎么配对，掩码要不要膨胀，损失怎么加权，每一项都影响最终榜单上的分数。下面按一套常见的Python实现路径来拆解，从数据组织到训练推理再到落地避坑，让新手上手就能跑通，也让做OCR预处理的老手有可直接抄作业的参数和边界。

2. 手写文字擦除的任务拆解与模型选型：不是所有修复模型都适合文档图像

2.1 手写文字擦除的三个子问题：检测、掩码、修复

先把问题拆成三个环节。第一个环节是检测，也就是判断图像里哪些像素属于手写区域；第二个环节是掩码生成，把“要擦掉的内容”转成一张和原图同尺寸的0/1图；第三个环节才是修复，用周围印刷体和纸张纹理把掩码区域填充回合理内容。很多人一上来就跳到最后一步，直接跑通用GAN修复，结果模型不知道手写在哪儿，把印刷体当噪声一起抹了。

我一般会把检测和掩码合并成一步：先训练一个轻量分割头，输出每个像素属于手写笔迹的概率，然后根据置信度阈值生成掩码。这个做法比“整画幅修复”慢一点，但召回率稳定，尤其是在试卷扫描这类背景复杂的图像里，手写和印刷体重叠时，分开检测比端到端生成方式更好调。

这里再说一句“数据模型”的含义。在这类方案里，数据模型不只是“图像加标签”，还包括三张配套图：干净印刷体图、带手写原图、手写掩码图。干净图用于监督，掩码图用于告诉模型哪里需要重画，带手写原图用于输入。三张图缺一张，训练就很容易滑向一边——要么把整张纸擦成白板，要么干脆不擦。很多刚接触python源码项目的人，第一反应是去找更深的模型，但在手写文字擦除这个任务里，数据模型的组织方式往往比模型结构更早决定成败。

2.2 为什么U-Net系加修复头是常见底座

榜单里那些第一梯队的方案，绝大多数不是从零造模型，而是在编码器解码器结构上做文章。U-Net因为有跳跃连接，能把低层细节和高层语义同时送到解码端，特别适合像素级回归任务。手写文字擦除要求保留印刷体边缘和纸张底纹，这就非常吃低层细节，U-Net系的优势就在这儿。

常见做法是在U-Net后面再接一个修复头，修复头可以选带掩码的部分卷积，也可以选门控卷积。部分卷积的好处是每次卷积都会更新掩码，让边界像素逐渐从“未知”变成“已知”，修复出来的纹理连续性更好；门控卷积则能用数据学出每个位置该信多少输入特征。我偏向部分卷积加一个轻量Transformer分支，用Transformer捕捉笔画的长程连贯性，解决手写长笔画穿过印刷体段落时的断裂问题。

不过要泼一盆冷水：底座模型只决定上限，决定能不能上榜的是训练数据里的“难例”比例。如果训练集里全是打印稿上随便划两道，模型当然很快收敛；一旦出现手写压网格线、手写压在印刷行距中间、彩色纸张底纹，这些难例才是拉开分数差距的地方。榜单方案的人力，大部分花在构造这种难例上，而不是在调网络深度。

2.3 基于OpenCV的快速基线：形态学与像素插值能不能打

在进入深度模型前，先给一个可以用python入门快速实现的OpenCV基线。它的作用是当对照实验和速度基准，不是拿来打榜。很多场景里，只要手写和印刷体在灰度上分得开，这个基线就能对付一半的数据。

import cv2 import numpy as np def remove_handwriting_opencv(img_path: str, min_area: int = 20, method: int = cv2.INPAINT_TELEA) -> tuple: # 灰度化：手写笔迹和印刷体灰度有差异，但差异不稳定 img = cv2.imread(img_path, cv2.IMREAD_GRAYSCALE) if img is None: raise ValueError(f"无法读取图像: {img_path}") # 大津法二值化，拿到前景候选区。 # 这里不使用固定阈值，因为扫描件的光照经常不均匀。 _, binary = cv2.threshold(img, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU) # 开运算：先腐蚀后膨胀，去掉孤立噪点，同时保留长笔画 kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3)) cleaned = cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel) # 找轮廓，按面积过滤噪点，矩形框近似手写区域 contours, _ = cv2.findContours(cleaned, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) mask = np.zeros_like(img) for c in contours: if cv2.contourArea(c) < min_area: continue x, y, w, h = cv2.boundingRect(c) cv2.rectangle(mask, (x, y), (x + w, y + h), 255, -1) # TELEA 基于邻域像素加权，NS 基于偏微分方程；小洞用 TELEA 更快 result = cv2.inpaint(img, mask, 3, method) return result, mask

这个基线的几个参数值得说清楚。min_area设小了，印刷体上的句号、逗号会被当成手写点擦掉；设大了，细手写笔画的尾巴会留在画面上。对A4扫描件，我一般从20开始调，具体看扫描分辨率：300DPI下20像素能压住大多数噪点，但彩色底纹场景要用更小的值。method用TELEA还是NS，肉眼差距不大，TELEA在CPU上快大约1.5倍，批量处理时优先选它。

这个基线最大的问题是没有区分印刷体和手写体，一旦手写压在印刷体上或者字体笔画较粗，轮廓会把两者算成一个连通域，一起去擦。所以它只适合做快速筛选和问题发现，真正的生产级结果还是得交给深度模型。放在这里也是为了给后续深度方案做个“兜底”：有些内网部署环境加载不了大模型，OpenCV基线至少能保证流程不断。

3. 用Python把数据模型跑通：手写文字擦除的最小训练与推理流程

3.1 数据模型的组织方式：图像对与掩码的目录结构

跑这套python源码前，先把python环境和vscode配置python弄干净，依赖无非是torch、torchvision、opencv-python和pillow。python基础语法里的文件遍历和路径拼接会反复出现，别用硬编码绝对路径，直接用Pathlib。项目里“数据模型”说白了就是一套固定的文件组织规则，我用的目录结构是这样的：

dataset/ train/ input/ # 带手写原图，命名统一为 00001.png target/ # 干净印刷体图，对应同编号 00001.png mask/ # 手写掩码，白色区域是需要擦除的部分 val/ input/ target/ mask/ meta.csv

input、target、mask三张图必须严格同步命名，且像素尺寸一致。meta.csv里记录每张图的手写颜色、笔画粗细、来源扫描设备，这些字段在后续做难例挖掘时特别有用。很多人只存input和target，不存mask，结果回炉训练时想调节损失权重只能重新找人来标，浪费的时间足够把数据管线重写一遍。

掩码的标注，常见做法有两种。一种是用标注工具人工把手写区域涂成白色，准确但贵；另一种是先用干净的target和带手写的input做差，差值大于阈值的位置就当成手写区域。第二种做法在手写下方没有印刷体时非常准，但手写压字时会漏掉重叠部分，必须人工补。榜单方案的掩码通常是两者的结合：自动差分生成初稿，人工修正重叠区域。

3.2 生成训练掩码的Python脚本：差分与膨胀

下面这段脚本是数据准备阶段最常用的一个函数：给干净印刷体和带手写原图，产出掩码图。逻辑不复杂，但膨胀这一步很容易被忽略。

import cv2 import numpy as np def build_mask_from_difference(clean: np.ndarray, input_img: np.ndarray, thr: int = 25, dilate_iter: int = 1) -> np.ndarray: """ clean: 干净印刷体灰度图 (H, W) input_img: 带手写原图灰度图 (H, W) thr: 像素差阈值，超过则认为属于手写区域 dilate_iter: 膨胀次数，把边缘往外扩，给修复留过渡带 """ diff = cv2.absdiff(input_img, clean) _, mask = cv2.threshold(diff, thr, 255, cv2.THRESH_BINARY) # 手写边缘和印刷体边缘在差分图上会形成环形边， # 只保留面积较大的连通域，过滤掉单像素噪声 num_labels, labels, stats, _ = cv2.connectedComponentsWithStats(mask) out = np.zeros_like(mask) for i in range(1, num_labels): if stats[i, cv2.CC_STAT_AREA] < 8: continue out[labels == i] = 255 if dilate_iter > 0: kernel = np.ones((3, 3), np.uint8) out = cv2.dilate(out, kernel, iterations=dilate_iter) return out

参数说明：thr=25在300DPI扫描件上能压住纸张纹理噪声，但手机拍照图上建议提高到35到45，因为手机成像有更重的噪声和压缩伪影。dilate_iter=1是把掩码向外扩一个像素，扩得太少修复边缘会缺纹理，扩得太多会把相邻印刷体字脚卷进去。如果你并不缺训练数据，更稳的做法是把这个函数当数据增强的一部分，用不同的thr和dilate_iter生成多份掩码，让模型见过各种边缘过渡。

3.3 训练与推理的最小代码：从U-Net到损失加权

训练部分给一个最小可跑的PyTorch示例，骨架刻意保持简单，重点说损失函数的写法。

import torch import torch.nn as nn class MinimalInpaintNet(nn.Module): """最小修复网络：4通道输入(RGB+掩码)，3通道输出""" def __init__(self, in_ch=4, out_ch=3): super().__init__() self.encoder = nn.Sequential( nn.Conv2d(in_ch, 32, 3, stride=2, padding=1), nn.BatchNorm2d(32), nn.ReLU(), nn.Conv2d(32, 64, 3, stride=2, padding=1), nn.BatchNorm2d(64), nn.ReLU(), ) self.decoder = nn.Sequential( nn.ConvTranspose2d(64, 32, 3, stride=2, padding=1, output_padding=1), nn.BatchNorm2d(32), nn.ReLU(), nn.ConvTranspose2d(32, out_ch, 3, stride=2, padding=1, output_padding=1), nn.Sigmoid(), ) def forward(self, x, mask): # mask 是单通道，拼接后作为第4通道输入 x = torch.cat([x, mask], dim=1) return self.decoder(self.encoder(x)) def mask_weighted_loss(pred, target, mask, region_weight=1.3): # 在手写区域把损失放大，背景区域保持原权重 diff = torch.abs(pred - target) weighted = torch.mean(diff * (1.0 + region_weight * mask)) return weighted

这个网络的encoder和decoder都很浅，跑通依赖没问题，但要复现榜单质量，至少要把卷积层换成ResBlock，并在编码器最深层加入自注意力。mask_weighted_loss里的region_weight=1.3是个经验值，意思是手写区域损失比背景区域多承担30%的梯度压力。如果训练过程中发现印刷体细节丢失，就把这个值降到1.0附近；如果发现手写没擦干净，就往上提到1.5到2.0。

这里有个从图像到训练对齐的细节：输入图像和掩码必须同时做随机裁剪、翻转和旋转，绝对禁止只预处理输入图而忘记同步变换掩码。最方便的做法是在Dataset类的__getitem__里用同一个随机种子生成几何变换参数，或者在自定义transform里把三张图（input/target/mask）组织成一个字典再统一处理。翻车现场最常见的错误就是掩码和图像错位，模型训练几十个epoch后仍然学不会回填纹理。

推理时不再需要target，只需要input和mask，因此生产代码里的入口函数接收一张原图和一张掩码，输出修复后的图。注意推理时的掩码可以使用稍微膨胀的版本，因为训练时掩码相对准确，推理时预测掩码往往偏小，不膨胀就会漏掉边缘残迹。

4. 手写文字擦除落地排查：5个反复翻车的坑与解法

4.1 手写压线，模型把印刷体和下划线一起擦了

现象：原图里手写内容压在印刷体行距或下划线网格线上，修复后印刷体字脚消失，出现整片空白。

原因：掩码生成阶段用了简单差分，手写和印刷体重叠部分被判为同一个连通域，掩码把印刷体也框了进去；模型学到“掩码区域全部替换”，于是把印刷体一起覆盖成背景纹理。

解决：把掩码生成改成语义分割输出，不只看色差，还要看局部纹理结构。具体做法是先训练一个二分类分割头预测“手写笔迹区域”，再用融合策略：两者都判定为手写才擦，只有差分判定为手写就保留。另外，在训练损失上给掩码边界外的印刷体加保护带，保护带内l1 loss权重设为0，逼迫模型只在具体手写区域输出生成内容。

4.2 修复边缘出现水痕，像钢笔水洇开的印子

现象：擦除结果整体不错，但掩码边缘有一圈半透明的灰白色痕迹，放大看是像素值起了过渡带。

原因：训练时掩码边缘是硬切的0/1边界，模型在边界位置学到的是“既要淡又要浅”的折中策略。推理时掩码稍微偏大或偏小，就会在边缘画出模糊的半透明带。

解决：训练和推理两端同时处理。训练端把掩码边缘做高斯模糊，把掩码从0/1改成分数权重，边界像素的梯度压力逐渐衰减；推理端对掩码做3x3的均值滤波后再归一化，给修复网络一个过渡带。不要把滤波做得太强，否则完全擦除的区域会保留一层淡淡的手写残影。

4.3 训练集全是平扫图，模型在手机拍照图上直接翻车

现象：模型在扫描仪图像上PSNR和SSIM都很好看，换到手机拍的试卷照片上，擦除区域出现彩色斑块，背景底纹也被误擦。

原因：这是典型的域偏移。平扫图光照均匀、无透视变形，手机图有透视畸变、色温偏移、阴影遮挡和JPEG压缩噪声，模型在训练集里没见过这些噪声模式，判别不出来什么是纸张底纹，什么是手写噪声。解决这个问题要在训练数据增强里强制加入场景扰动：

def warp_and_color_aug(img, mask, angle_mean=3): h, w = img.shape[:2] angle = np.random.normal(angle_mean, 1.5) M = cv2.getRotationMatrix2D((w / 2, h / 2), angle, 1.0) img_w = cv2.warpAffine(img, M, (w, h), flags=cv2.INTER_LINEAR) # mask 用最近邻插值，避免插值产生半透明边界 mask_w = cv2.warpAffine(mask, M, (w, h), flags=cv2.INTER_NEAREST) # 色温抖动：在 RGB 通道上整体平移 offset = np.random.randint(-10, 10, size=(3,)) img_w = np.clip(img_w.astype(np.int16) + offset.reshape(1, 1, 3), 0, 255).astype(np.uint8) return img_w, mask_w

我一般会在val集里专门留10%的手机实拍图，每个epoch做一次人工抽查。指标看着再好看，也要以这10%的图片为准。如果项目资源够，手机实拍图应该占训练集的5%到10%，只靠仿真增强永远补不齐真实手机的光学短板。

4.4 数据模型里只存PNG不存标注，想二次训练才发现没有掩码

现象：项目跑完一轮，发现精度卡在目标分数的90%左右，想继续训练，翻开数据目录只找到input和target，手写掩码一张都没保存。

原因：掩码在训练时是实时生成的，没有落盘。当时图快，把中间结果丢了；等到要调试损失函数的权重，或者要换模型结构，才发现掩码是黑匣子，没法排查。

解决：数据准备阶段就把掩码固化到磁盘，至少要保存“最终训练用掩码”和“原始差分掩码”两份。最终训练用掩码用于复跑实验，原始差分掩码用于分析模型在哪些结构上容易失误。存储开销大约只比原图多30%到50%，对现代磁盘完全可以接受。这也是“数据模型”这个词里最容易被低估的部分：文件组织本身就是模型结构的一部分。

4.5 擦除结果整体偏灰，纸张底色和原图对不上

现象：修复区域颜色和原图纸面差异明显，偏灰偏暗，像贴了块补丁；OCR识别率上来了，但人眼一眼看出处理痕迹。

原因：训练loss在RGB空间做平均，模型学到的是“均值最小”而不是“颜色最接近”。RGB空间里纸面浅黄色和背景白色的欧氏距离比深色手写小得多，模型就会把浅色区域拉向白，把修出来的内容整体提亮，颜色发灰。

解决：损失计算之前把输入和target从RGB转到YUV空间，对亮度分量单独做一次L1，彩度分量用较小权重。U-Net输出的颜色通道在收敛中后期容易出现“均值灰”漂移，可以在后处理阶段做色彩对齐：用原图的非掩码区域统计RGB均值，修复区域按比例映射，把输出图的平均颜色拉回原图的纸张底色。这一步不改善结构，但人眼观感和最终交付质量会有明显提升。

5. 手写文字擦除增效：合成数据、后处理与验收指标

5.1 合成手写数据：用字体与随机抖动生成训练对

如果真实标注数据不足，最划算的做法是合成。别小看这条路，真实手写的光滑程度、连笔和笔锋，用随机字体加抖动可以模拟出七八分效果，而且掩码天然已知，不用人工标。

from PIL import Image, ImageDraw, ImageFont, ImageFilter import numpy as np def render_handwrite_text(text, font_path, canvas_size=(512, 512), angle_range=(-10, 10), font_size_range=(26, 40)): # 创建白底灰度图 img = Image.new("L", canvas_size, 255) draw = ImageDraw.Draw(img) font_size = np.random.randint(*font_size_range) font = ImageFont.truetype(font_path, font_size) # 随机角度旋转，不要超过12度，太夸张会脱离真实书写习惯 angle = np.random.uniform(*angle_range) # 随机放置位置，模拟字迹偏移 base = np.random.randint(20, 90, size=(2,)) draw.text((base[0], base[1]), text, fill=0, font=font) img = img.rotate(angle, center=(canvas_size[0] // 2, canvas_size[1] // 2), resample=Image.BICUBIC, fillcolor=255) # 加一点高斯柔化，模拟笔迹边缘的浸墨 img = img.filter(ImageFilter.GaussianBlur(radius=0.5)) return img

关键参数：角度范围建议控制在正负10度以内，真实手写整体行的倾斜度不会超过12度，太大旋转会让模型学到“越斜越要擦”的假规律。字体大小随机化能提高泛化能力，但如果训练集和测试集的扫描DPI不一致，这个参数的分布要按DPI换算。合成数据一定要和真实数据混着用，只拿合成数据训练的模型，在真实笔迹的间断笔画上会非常犹豫。

我一般会用多套手写字体构造字符池，再对每个字符做“断笔”处理：随机把二值笔迹切成2到3段，模拟连笔断墨的效果。这个操作对下游OCR识别率提升非常显著，因为真实手写里断笔远比完美连笔多。

5.2 后处理：掩码膨胀、引导滤波与色彩对齐

推理输出不是终点。修复结果在进入人眼验收前，还要过一道后处理。

第一步，掩码膨胀。在推理端统一把模型预测掩码膨胀1到2像素，避免边缘残留。第二步，引导滤波。用原图的灰度图作为引导图，对修复结果做引导滤波，修复区域和原图纸张纹理能有更自然的融合。引导图最好用原图而不用修复图，这样纸面纤维纹理能迁移到修复区域。第三步，色彩对齐。统计原图非掩码区域的平均亮度，修复结果乘以亮度比，调整到一致。

import cv2 import numpy as np def post_process_inpaint(result, origin, mask, guided_radius=4): mask = cv2.dilate(mask, np.ones((3, 3), np.uint8), iterations=1) guided = cv2.ximgproc.guidedFilter( guide=origin, src=result, radius=guided_radius, eps=1e-2) # 颜色对齐只在修复区域做，防止改变原图内容 out = origin.copy() out[mask > 0] = guided[mask > 0] return out

guidedFilter来自opencv-contrib-python，如果环境没装，用cv2.bilateralFilter替代也能有七分效果。radius参数对A4扫描图我一般设4，对手机图要调到6到8，因为手机图上纸张纹理颗粒更粗。eps=1e-2是像素深度的相对值，单位是8bit灰度平方，改用float归一化时要重新调。

最后效果好不好，不要凭一张截图判断。要输出“修复前的带手写图”“修复后的图”和“掩码图”三张并排对比，确认边缘有没有吃印刷体，颜色有没有偏，再用OCR指标下结论。

5.3 验收指标：PSNR、SSIM、OCR可读率，单独看哪个都没用

榜单排名常用PSNR和SSIM，但这些指标在文档图像上有严重的盲区。PSNR对整张图的噪声敏感，手写区域只占全图5%，修复再好，PSNR也只从42变成43，区分度不够；SSIM侧重结构相似性，对颜色漂移近乎失明，修复结果偏灰它也照样给高分。所以我的做法是三分法。

OCR可读率有一个更细的做法：用同一个OCR引擎分别识别干净原图和修复图，统计新增的错误字符数。纯粹看修复图准确率意义不大，因为模型可能把难字整块擦成空格，OCR“准确”了，业务上却是灾难。只有当“修复图错误数减去干净图错误数”接近于0，才说明修复没有顺手把印刷体带走。

6. 手写文字擦除接进OCR流水线：一个批量处理脚本的边界设置

末尾补一个具体的批量处理技巧：把单张推理服务包成队列，并按OCR反馈结果动态调整掩码膨胀次数。

import queue import threading import cv2 def inference_worker(in_queue, out_queue, model): while True: item = in_queue.get() if item is None: break img_path, mask_path = item img, mask = cv2.imread(img_path), cv2.imread(mask_path, cv2.IMREAD_GRAYSCALE) pred = model.inpaint(img, mask) out_queue.put((img_path, pred))

更值得说的一句经验是：手写擦除接OCR流水线时，不要在输入阶段做大尺寸归一化。OCR引擎吃的是原始分辨率，修复模型训练的输入尺寸是512或640，推理时先用模型输出，再做比例放大回原分辨率，最后送到OCR。顺序反了，OCR对修复区域的小字号印刷体会出现识别阈值偏移，白折腾一遍。

我自己的习惯是每批数据跑完，随机抽5张失败样例，把掩码叠在修复结果上保存成对比图，放进产物的目录。这样即使不看指标，也能在肉眼层面快速确认是新数据分布问题还是模型退化。手写文字擦除这行，指标好看不是终点，能把交付图片干净地送进下一道OCR才算真的落地。希望帮到你。

本文还有配套的精品资源，点击获取