TensorFlow2.0汉字手写识别：3755类的完整实现与避坑指南

简介：面向深度学习实践的中文手写汉字识别项目，基于TensorFlow2.0实现，提供一套完整的毕业设计源码。项目覆盖数据集获取与转换、CNN模型构建、训练评估、单字识别预测等环节，适合计算机专业学生用于课程设计、毕业设计或TensorFlow2.0入门实战。压缩包共94个文件，大小6.71MB，包含72张PNG格式测试图片、6个Python源码（含模型定义、训练、测试、TFRecord转换脚本）、1个GNT原始标注库文件以及数据下载脚本、说明文档等，目录结构清晰，便于按模块阅读。已有165人学习下载。通过demo.py可直接加载模型对手写汉字图片进行预测，也能在cnn_net.py中调整网络结构、在train_simple.py中修改超参数重新训练，为研究不同参数下的识别效果提供灵活平台，整体可作为中文OCR项目的参考基线。

1. 中文汉字手写体识别为什么让 TensorFlow2.0 新手集体翻车：先看清这个 zip 里装的到底是什么

中文汉字手写体识别，看起来跟 MNIST 没什么两样，都是“图像进去、类别出来”。真把数据集打开你才发现，3755 个类别、每个字上千种写法、形近字之间只差一个笔画的粗细——这个任务的难度跟 10 个阿拉伯数字完全不在一个量级。这个 zip 里装的是一套可以跑的方案：数据预处理脚本、模型定义、训练参数、导出代码。TensorFlow2.0 的 Keras 高层 API 把搭网络的门槛降得很低，但真正卡住人的往往是数据管道怎么喂、标签怎么编码、loss 怎么调。下面的内容按我踩过的顺序来写，适合已经跑通过 MNIST、想往中文场景走的工程师，能少走不少弯路。

2. 数据准备：把汉字手写体喂进 TensorFlow2.0 前，先过这三关

2.1 数据集怎么选：CASIA-HWDB、自采样本与划分比例

汉字手写体识别的公开数据集，最常见的是 CASIA-HWDB。HWDB1.0 和 HWDB1.1 加起来覆盖 GB2312 一级字库的 3755 类，每类样本数从几十到几百不等。这个数据量对深度学习来说不算大，所以很多人会在上面做数据增强。另一个来源是自己采集——用数位板或者手机拍摄的手写图片，好处是贴近业务场景，坏处是标注成本高，而且不同人写同一个字的差异极大。

我一般会这样划分：训练集 80%、验证集 10%、测试集 10%。验证集和测试集必须确保来源不同的人，否则同一个人的书写风格会同时出现在训练和验证里，验证指标虚高，后面部署直接翻车。公开数据集自带的作者划分通常已经做了这件事，别自己重新 shuffle。

如果目录结构是按“类别名/图片文件”组织的，用 TensorFlow2.0 加载很快：

import pathlib import tensorflow as tf data_dir = pathlib.Path("hwdb/train") class_names = sorted([p.name for p in data_dir.iterdir()]) num_classes = len(class_names) train_ds = tf.keras.utils.image_dataset_from_directory( data_dir, validation_split=0.1, subset="training", seed=42, image_size=(64, 64), batch_size=64, label_mode="int", )

这里有个参数值得注意：label_mode="int"返回的是整数标签，配合SparseCategoricalCrossentropy用，省内存。image_size先统一成 64×64，跑通流程。validation_split=0.1在目录内部随机切分，如果数据集本身已有作者划分，就别在这里再切，改用subset指向完整目录。

自采样本要补进训练集时，最稳妥的做法是单独建目录，不跟公开数据混在一起，方便追溯。采集的时候让不同的人用不同书写工具各写一遍，同一批样本不要集中在一个 batch 里，否则模型学到的是书写工具的噪声而不是字形结构。

2.2 图像预处理：灰度、反色、留白裁剪的参数细节

这一步是汉字识别里最容易出问题的地方。手写图片来源不同，底色可能是白纸、米黄纸，笔画颜色可能是黑、蓝、红。统一转灰度是第一件事。转完灰度之后，绝大多数公开数据集是白底黑字，而卷积网络处理黑底白字更自然——把前景置为高值，背景置为低值，梯度计算更稳定。

反色之后再归一化，常见的做法是(pixel / 255.0)缩放到 [0,1]，或者用(pixel - mean) / std做标准化。对于手写体，我一般只用/255.0，因为不同来源的图像亮度差异已经通过反色统一了，再做标准化反而会把笔画对比度拉偏。

留白裁剪是个隐藏坑。不同人的书写习惯不一样，有人写“口”字靠上，有人靠下，四周留白差异巨大。不做裁剪的话，模型会学到“字在图片里的位置”而不是“字本身”，同一个字换个人写就识别错。裁剪逻辑是：先找所有非背景像素的包围盒，然后保留包围盒周围 10% 的边界，再缩放到固定尺寸。

import cv2 import numpy as np def preprocess_image(path, size=(64, 64)): img = cv2.imread(path, cv2.IMREAD_GRAYSCALE) # 背景是白色(255)，反色让前景变白 img = 255 - img # 找非零像素的包围盒 coords = np.argwhere(img > 30) if len(coords) == 0: return np.zeros((size[0], size[1], 1), dtype=np.float32) y0, x0 = coords.min(axis=0) y1, x1 = coords.max(axis=0) # 保留10%边界，防止切掉笔画边缘 pad_y = int((y1 - y0) * 0.1) pad_x = int((x1 - x0) * 0.1) y0 = max(0, y0 - pad_y); y1 = min(img.shape[0], y1 + pad_y) x0 = max(0, x0 - pad_x); x1 = min(img.shape[1], x1 + pad_x) img = img[y0:y1, x0:x1] img = cv2.resize(img, size, interpolation=cv2.INTER_AREA) img = img.astype(np.float32) / 255.0 return img[..., np.newaxis]

这个preprocess_image里两个参数值得留意。>30的阈值决定哪些像素算前景，对浅色纸张上的淡墨迹，阈值要降到>10，具体值可以用一两张图片的np.percentile统计出来，不要拍脑袋定。INTER_AREA在缩小时表现最好，能保留笔画的边缘特征，换成INTER_LINEAR会让字看起来发虚，识别精度会掉一到两个点。

写完这个函数不要直接进训练，先把几十张图存出来看看效果。我有一次就是没检查这一步，结果所有图片都被裁剪成了一条竖线，模型训练了一天，loss 当然不降——这是整个流程里最典型的一处翻车场景。

2.3 标签编码：3755 类用 one-hot 还是稀疏标签

字数类别多，标签编码直接影响显存占用和训练速度。one-hot 编码在 3755 类下，每个标签向量有 3755 个元素，64 的 batch 就要几十万浮点数，虽然不算大，但配合CategoricalCrossentropy计算时，矩阵运算量比稀疏标签高一个量级。

TensorFlow2.0 里我一般直接用整数标签加SparseCategoricalCrossentropy，省内存，代码还简短。关键是标签的索引要稳定，训练、验证、测试三套数据必须用同一份“字到索引”的映射表。很多人踩过这个坑：训练时用os.listdir排出来的顺序做映射，换一台机器跑测试，目录顺序变了，预测结果全错。

char_to_idx = {ch: i for i, ch in enumerate(class_names)} idx_to_char = {i: ch for ch, i in char_to_idx.items()} # 解码预测结果 pred_idx = int(tf.argmax(logits, axis=-1)) pred_char = idx_to_char[pred_idx]

这个映射表在训练结束后要存成 JSON 或 CSV，和模型一起打包。部署的时候只加载模型是不够的，没有映射表，输出的 3755 维向量没法对应到汉字。常见做法是把idx_to_char写入模型的signature里，或者单独存一个资产文件。我一般是存 JSON，简单直接，别人接手也容易看懂。

到这里，数据侧的三关就过了：数据集选型和划分、图像预处理、标签编码。这三件事做完，模型训练才有意义。下一个问题是怎么搭一个适合 3755 分类的网络。

3. 模型搭建：TensorFlow2.0 的 Keras API 搭汉字分类网络，深度和宽度怎么配

3.1 最小可运行 CNN：先把流程跑通，再谈精度

面对 3755 分类，很多人一上来就上 ResNet152，结果显存爆了、训练一天不收敛，最后连问题出在哪都说不清。我的习惯是先搭一个最浅的 CNN，保证数据管道、损失函数、训练循环全链路跑通，在验证集上看到 loss 在下降，再逐步加深网络。

最小模型用两层卷积加一个全连接层：

import tensorflow as tf model = tf.keras.Sequential([ tf.keras.layers.Input(shape=(64, 64, 1)), tf.keras.layers.Conv2D(32, 3, activation="relu", padding="same"), tf.keras.layers.MaxPooling2D(2), tf.keras.layers.Conv2D(64, 3, activation="relu", padding="same"), tf.keras.layers.MaxPooling2D(2), tf.keras.layers.Flatten(), tf.keras.layers.Dense(128, activation="relu"), tf.keras.layers.Dense(3755, activation="softmax"), ]) model.compile( optimizer=tf.keras.optimizers.Adam(1e-3), loss=tf.keras.losses.SparseCategoricalCrossentropy(), metrics=["accuracy"], )

这个网络参数量只有几百万，在 64×64 输入上单 epoch 跑得很快。padding="same"保留边缘信息，对手写体这种笔画可能贴边的图很重要。第一层卷积核 32、第二层 64，是经验值；如果发现验证集不降，先改成 16/32 看是不是数据问题，不要一上来就调大网络。

这里有个细节：最后一层Dense(3755)的输出是不是需要softmax激活。如果接SparseCategoricalCrossentropy(from_logits=True)，就不要给 softmax，数值稳定性更好。我一般留from_logits=True，推理时再对输出做softmax，这样训练时避免 softmax 和 crossentropy 联合计算的精度损失。

3.2 加深网络：残差块、BatchNorm 和 Dropout 怎么组合

最小模型能跑通之后，就该面对 3755 分类的真实难度了。两层卷积提取的特征太弱，直接堆卷积层会带来梯度消失，残差连接几乎是必选。TensorFlow2.0 里手写一个残差块不难，但有个顺序问题：BatchNorm 放在激活前还是激活后，效果差很多。

我常用的残差块结构是：Conv → BN → ReLU → Conv → BN → 残差相加 → ReLU。BN 放在卷积之后、激活之前，能加速收敛。Dropout 放在残差块的输出之后，而不是块内部，否则会破坏残差连接的信息传递。

def residual_block(x, filters, stride=1, use_dropout=False): shortcut = x if stride != 1: shortcut = tf.keras.layers.Conv2D(filters, 1, strides=stride)(shortcut) shortcut = tf.keras.layers.BatchNormalization()(shortcut) x = tf.keras.layers.Conv2D(filters, 3, strides=stride, padding="same")(x) x = tf.keras.layers.BatchNormalization()(x) x = tf.keras.layers.ReLU()(x) x = tf.keras.layers.Conv2D(filters, 3, padding="same")(x) x = tf.keras.layers.BatchNormalization()(x) x = tf.keras.layers.add([x, shortcut]) x = tf.keras.layers.ReLU()(x) if use_dropout: x = tf.keras.layers.Dropout(0.2)(x) return x

注意stride参数：当特征图尺寸减半时，shortcut 路径也要用Conv2D(1, strides=2)把尺寸和通道数对齐，否则add会报错。这是初学者最常见的报错点，TensorFlow2.0 会提示 shape 不匹配，但新手往往不知道是 shortcut 的问题。

Dropout 的力度，我在 3755 分类上一般取 0.2 到 0.3。太大会欠拟合，太小防不住过拟合。汉字手写体数据量不大，几千类、每类几百张，正则化是必须的，不然训练 acc 冲到 99%、验证 acc 只有 40% 的场景天天见。

3.3 损失函数与优化器：Adam、SGD、标签平滑的取舍

3755 分类的损失函数，硬编码用稀疏交叉熵就行。但真正影响收敛的是输出层的数值范围和优化器的配合。

我试过三种组合：Adam 默认参数直接训、SGD 加 momentum、Adam 加标签平滑。结论是：Adam 收敛快，但后期精度上限不如 SGD 加 momentum。具体来说，前 30 个 epoch 用 Adam 把 loss 压到 1 左右，然后切换到 SGD+momentum（学习率降到 1e-3）再跑 20 个 epoch，验证 acc 能比全程 Adam 高 2 到 3 个百分点。这个现象在汉字手写体上尤其明显，因为类别多、类间相似度高，Adam 的适应性学习率在后期容易在局部极小值附近震荡。

标签平滑对这类任务效果显著。3755 类里形近字特别多，比如“己、已、巳”，用label_smoothing=0.1让 softmax 的输出不要过于自信，能减少过拟合。TensorFlow2.0 里直接传参：

loss = tf.keras.losses.SparseCategoricalCrossentropy( from_logits=True, label_smoothing=0.1 )

label_smoothing取 0.1 或 0.15，再大就会让模型学不进去。它等价于把正确标签的概率从 1 降到 0.9，0.1 分给其他类别。这个技巧在数据量小、类别多的时候，比单纯加 Dropout 更有效。

4. 训练与调参：TensorFlow2.0 跑汉字识别的完整配置与命令

4.1 tf.data 管道：图片读取、缓存与预取的参数设置

训练数据准备好了、模型也搭完了，接着就要把数据高效地喂给 GPU。很多人直接在fit里传 NumPy 数组，遇到几万张图片内存就爆了。TensorFlow2.0 的tf.data管道能解决这个问题，关键是几个参数的配合。

核心是map、shuffle、batch、prefetch这四个转换。map负责图像预处理，shuffle打乱顺序，batch打包，prefetch让数据加载和 GPU 计算并行。prefetch(tf.data.AUTOTUNE)让框架自动决定预取缓冲区大小，省心。

def load_image(path, label): image = tf.io.read_file(path) image = tf.image.decode_jpeg(image, channels=1) image = tf.image.resize(image, (64, 64)) image = tf.cast(image, tf.float32) / 255.0 return image, label train_ds = ( tf.data.Dataset.from_tensor_slices((train_paths, train_labels)) .shuffle(10000) .map(load_image, num_parallel_calls=tf.data.AUTOTUNE) .batch(64) .prefetch(tf.data.AUTOTUNE) )

这里的shuffle(10000)缓冲区大小要跟数据集规模匹配。缓冲区太小，shuffle 不充分，每个 batch 里的类别分布不随机；太大，内存占用高。我一般设为总样本数的 10% 到 20%，几万样本就设 5000 到 10000。

num_parallel_calls设成AUTOTUNE，map 操作会用多线程并行预处理图片。如果 CPU 核数多但 GPU 闲，瓶颈在 map，这个参数能明显提吞吐。还有一个容易忽略的：from_tensor_slices会把路径和标签加载进内存，路径长度不要用 Python 字符串，统一用tf.constant或者直接传列表，避免 TensorFlow 反复做类型推断。

4.2 训练循环：ModelCheckpoint、EarlyStopping、TensorBoard 的配合

训练过程里，最重要的不是盯着终态 acc，而是让模型在训练中可观测、可恢复。我每次都挂三个回调：ModelCheckpoint保存最优权重、EarlyStopping在验证 loss 不再降时停掉、ReduceLROnPlateau在平台期降学习率。TensorBoard 用来盯曲线和找翻车点。

callbacks = [ tf.keras.callbacks.ModelCheckpoint( "best_model.ckpt", monitor="val_accuracy", save_best_only=True ), tf.keras.callbacks.EarlyStopping( monitor="val_loss", patience=8, restore_best_weights=True ), tf.keras.callbacks.ReduceLROnPlateau( monitor="val_loss", factor=0.5, patience=3, min_lr=1e-6 ), tf.keras.callbacks.TensorBoard(log_dir="./logs"), ] history = model.fit( train_ds, validation_data=val_ds, epochs=50, callbacks=callbacks, )

patience=8的意思是验证 loss 连续 8 个 epoch 不下降就停。restore_best_weights=True特别重要，否则训练结束后保存的是最后一步的权重，而不是最优的——这个细节能让人白跑几小时。ReduceLROnPlateau的factor=0.5是每次降一半，patience=3是 3 个 epoch 没降就触发，配合 EarlyStopping 的 8，先降学习率再决定停不停，比直接停效果要好。

TensorBoard 的log_dir每轮实验换一个目录，不然多轮训练曲线叠在一起没法看。启动tensorboard --logdir=./logs后，重点看loss和accuracy两条曲线是否同步，如果 loss 下降但 acc 不动，大概率是标签编码和数据不对齐，回头检查映射表。

4.3 五个关键超参数：学习率、batch、图像尺寸、epoch、类别权重

训练到后期，拼的就是这几个超参数的组合。我把常用的取值和边界整理成表格：

batch size 是这里面最值得调的一个。汉字手写体类别多，每个 batch 最好覆盖尽量多的类，64 的 batch 在 3755 类里覆盖率很低，但增大 batch 会显存溢出。有个折中做法是梯度累积，用小 batch 多次迭代再更新一次梯度，效果接近大 batch 又省显存。TensorFlow2.0 里用GradientTape手写训练循环才能做梯度累积，Keras 的fit不支持，这是个边界，要提前知道。

图像尺寸的影响我实测过：64×64 的验证 acc 大约在 85% 到 88%，128×128 能到 92% 左右，代价是训练时间翻倍。输入尺寸是精度和速度最直接的权衡点，业务场景里如果单张推理时延要求苛刻，就用 64，否则直接上 128。

epoch 不需要一个固定值。EarlyStopping(p=8)加上ReduceLROnPlateau(p=3)，让训练在过度拟合之前自动停。我见过有人硬跑 200 个 epoch，验证 acc 从 90% 掉到 85%，这是典型的过拟合——EarlyStopping 存在的意义就是拦这种操作。

5. 避坑手册：TensorFlow2.0 汉字识别最常见的 5 个坑与排查

5.1 loss 不降反升，训练 acc 在 10% 附近打转

现象：训练了 20 个 epoch，loss 在 2.5 到 4 之间波动，acc 不到 20%。

原因：最常见的是标签和输出没对齐。3755 类用SparseCategoricalCrossentropy时，标签值必须是从 0 到 3754 的整数，如果映射表里混入了无用的类别名，或者某些类索引从 1 开始，loss 就会一直压不下去。还有一种情况是图像预处理把笔画全裁掉了，模型看到的输入接近全黑或全白，学不到特征。

解决：先跑一个 batch 的前向传播，把logits和标签的形状、取值范围打印出来。再随机挑几张预处理后的图，肉眼确认笔画可见。这两步能筛掉 80% 的“loss 不降”问题。别一上来就调学习率，那是玄学，先把数据和标签确认了再动优化器。

5.2 训练 acc 98%，验证 acc 40%——过拟合的三种解法

现象：训练集 acc 一路冲到 98%，验证集停留在 40%。

原因：3755 类、每类样本数从几十到几百，模型参数几百万，严重过拟合。这是汉字手写体识别最经典的翻车场景，几乎每个人都要撞一次。

解决：按优先级做三件事。第一，加数据增强：随机旋转±10 度、缩放 0.9 到 1.1、平移 2 像素，这些变换对汉字书写变异很有效，tf.keras.layers.RandomRotation和RandomZoom直接用。第二，加 Dropout，全连接层前后都加 0.2 到 0.3。第三，把图像尺寸从 128 降到 64，参数少一点，过拟合轻一点。三件做完验证 acc 一般能回到 70% 以上，再考虑换更强的网络。

5.3 生僻字识别率接近 0，常用字准确率还行

现象：测试时“的、了、我”这类字识别不错，但“龋、癖”这类生僻字几乎全错。

原因：数据不均衡。HWDB 里生僻字样本少，每类只有十几张甚至几张。CNN 对每类的学习能力跟样本量成正比，样本少的类几乎学不到可泛化的特征。

解决：两类方法配合。训练时给生僻字加类别权重，把生僻字样本的 loss 放大到常用字的 2 倍，让优化器更关注这些类。同时给生僻字做更强的数据增强，相当于用人工方式扩充样本。还有一招是把相似写法合并成同一类，比如把不太常用的繁体写法映射到常用简体字上，减少类别数。

5.4 GPU 利用率只有 30%，训练一天出不了结果

现象：nvidia-smi看 GPU 利用率只有 30% 左右，显存没满，训练速度比预期慢很多。

原因：数据管道跟不上 GPU 的消费速度。最常见的是没有prefetch，或者map里做了太重的图像解码和裁剪，CPU 成了瓶颈。

解决：按顺序做四件事。在batch后面加prefetch(tf.data.AUTOTUNE)。把图像裁剪从 Python 的cv2改成 TensorFlow 的tf.image操作，避免py_function反复调 Python 解释器。把解码后的图片缓存到内存或磁盘，第一次读完后不用再解码。最后才是检查 GPU 本身是不是被其他任务占用了。

5.5 保存的模型在推理时速度巨慢，且结果不对

现象：训练时精度不错，导出为 SavedModel 之后，单张推理要几百毫秒，而且有些字预测错了，跟训练时的结果对不上。

原因：好几件事叠加。推理时输入尺寸和训练不一致，模型 resize 之后特征对不上；没有批处理，单张跑没利用 GPU 并行；保存的是model.save()而不是tf.saved_model.save，签名没定义好。

解决：导出时固定输入签名，尺寸跟训练一致，batch_size设成动态。推理时一次处理一批图片，分批的 batch size 用 8 到 16，时延能降一个量级。如果对时延要求很高，考虑转成 TensorFlow Lite 量化版，在 CPU 上也能跑到毫秒级，精度损失在 1 到 2 个点以内。

6. 端到端验证：用 SavedModel 跑通一条完整的手写图片推理链

最后一步是把训练好的模型导出并验证。我每次都会做一次端到端测试：拿一张现场拍的手写图片，走完整的预处理、推理、解码流程，确认输出的汉字是对的，才敢把这套流程交付出去。

import tensorflow as tf import json # 导出：固定输入形状，方便部署后按签名调用 @tf.function(input_signature=[tf.TensorSpec([None, 64, 64, 1], tf.float32)]) def serve(x): return {"logits": model(x, training=False)} tf.saved_model.save(model, "./saved_model", signatures=serve) # 加载模型和字符映射表 loaded = tf.saved_model.load("./saved_model") infer = loaded.signatures["serving_default"] with open("idx_to_char.json") as f: idx_to_char = {int(k): v for k, v in json.load(f).items()} # 端到端推理 img = preprocess_image("test_sample.jpg", size=(64, 64)) out = infer(tf.constant(img[None, ...], dtype=tf.float32)) pred = int(tf.argmax(out["logits"][0])) print(f"预测结果：{idx_to_char[pred]}")

这段代码里，preprocess_image必须和训练时用完全一样的参数，哪怕阈值从>30改成>40，都会让输入分布偏移，精度悄悄下降。我把这个函数和模型一起打包，不单独复制一份——复制出来的版本经常跟训练版对不上，这是血的教训。

最后说一个习惯：每次训练之后，我会把验证集上预测和真实标签不同的 case 打印出来，凑成一张拼接图看看。形近字错判占了 80% 以上，这说明模型已经学到了书写形态，但还没学到足够的上下文区分能力。这个观察基本决定了这个项目值不值得投入更多资源——如果业务场景里形近字识别差，那就要考虑加一个字符级别的语言模型来兜底，纯视觉模型的上限就在那里。

验证做完，这套 TensorFlow2.0 的汉字手写体识别流程就可以收尾了。中间踩过的坑，大多集中在数据预处理和标签映射，模型结构反而不是最难的部分。希望这些经验帮到你，少熬几个调 loss 的夜。

本文还有配套的精品资源，点击获取