UTF-16LE转UTF-8的5种方法：彻底解决CSV乱码与编码转换问题

如果你打开一个 CSV 文件，看到的不是正常中文，而是类似“浣犲ソ”“�������”这样的乱码，又或者 Python 读取时直接报UnicodeDecodeError: 'gbk' codec can't decode，先别急着改代码，先看文件编码。这类文件有很高概率是 UTF-16LE。

UTF-16LE 在 Windows 生态里并不少见。旧版 Excel 导出的 CSV、某些数据库备份、Windows 记事本默认保存的 Unicode 文本、部分业务系统导出的报表，都可能是 UTF-16LE。而 Linux 服务器、Python 脚本、Web 系统、MySQL 等环境默认更常用 UTF-8，两边一对接，乱码就来了。

这次我们就把“UTF-16LE 转 UTF-8”这件事一次说透。先给结论：转换没有技术难度，关键在于识别文件编码、选对工具、注意 BOM 和批量情况。下面会介绍 5 种可行方案，从零命令行到批量处理全覆盖，并给出实际可用的 Python 脚本。不管是处理单个 CSV，还是批量整理上千个文本文件，都能直接照做。

1. 转换方案速览

选择逻辑很简单：

• 只处理 1 到 2 个文件，用编辑器最省事；
• 有一堆同类文件，或者文件很大，用iconv或 Python 脚本；
• 平时用 Windows 又不想装额外软件，可以考虑 PowerShell；
• 想彻底落地成自动化工具，直接看第 6 节的 Python 批量方案。

2. 先搞懂 UTF-16LE 与 UTF-8 的差异

字符编码的本质是“字符到字节”的映射规则。同一个“中”字，在不同编码里对应的字节完全不同。UTF-8 是变长编码，英文字符占用 1 字节，中文通常占用 3 字节；UTF-16 是固定双字节编码，英文和中文都至少占用 2 字节。

UTF-16LE 代表“小端序”，也就是低字节在前。LE 是 Little Endian，和 UTF-16BE（Big Endian，大端序）相对应。在文件开头，UTF-16LE 通常带有 2 字节的 BOM（Byte Order Mark）：FF FE。打开十六进制编辑器会看到前两个字节是FF FE，因此判断起来非常容易。

UTF-8 的 BOM 是EF BB BF，但不是所有 UTF-8 文件都带 BOM。两者区别直接决定了很多乱码问题：

• 用记事本保存“Unicode 编码”时，默认就是 UTF-16LE；
• 用代码读取时，如果按 UTF-8 解析 UTF-16LE 的字节流，中文一定乱码；
• 有些文件看起来只有英文没有中文，或者中文集中在文件末尾，往往是因为读取工具处理截断或替换规则不一致。

转换的方向是：把 UTF-16LE 字节流解码成 Unicode 字符，再按 UTF-8 编码规则重新写入。理论上任何编程语言都能干，但实际批量处理时，要额外考虑文件头 BOM、换行符、超大文件内存占用、输出是否带 BOM 这 4 个问题。

3. 识别文件编码：乱码问题的第一步

在转换之前必须确认源文件确实是 UTF-16LE。判断方法有三种。

3.1 用十六进制查看前几个字节

打开十六进制工具或编辑器自带的 Hex 视图。如果文件前几个字节是：

FF FE 5B 00

那么基本可以确定是 UTF-16LE。注意5B 00对应 ASCII 字符[，低字节在前。

如果是FE FF 00 5B，则是 UTF-16BE，需要另一套转换参数。

3.2 使用 Linuxfile命令

在 Linux、macOS、WSL 或 Git Bash 中执行：

file -bi input.txt

输出示例：

text/plain; charset=utf-16le

file命令能快速识别 BOM 并告诉你编码。没有file命令时，先执行：

which file

如果没有，可以通过包管理器安装，例如 Ubuntu 使用sudo apt install file。

3.3 用 Python 检测编码

Python 标准库没有特别可靠的编码检测模块，但处理 UTF-16 BOM 很简单。读取文件前 4 字节并判断：

from pathlib import Path def detect_utf16_style(path: str) -> str: with open(path, "rb") as f: head = f.read(4) if head[:2] == b"\xff\xfe": return "utf-16-le" if head[:2] == b"\xfe\xff": return "utf-16-be" if head[:3] == b"\xef\xbb\xbf": return "utf-8-sig" return "unknown"

这种方式在批量脚本里很实用，可以在正式转换前自动筛选出所有 UTF-16LE 文件。

4. 方案一：编辑器另存法（单文件最省事）

4.1 Notepad++

Notepad++ 是 Windows 下处理文本编码最直观的工具之一。打开 Notepad++，把乱码文件拖进去，正常情况下中文已经能正确显示，因为 Notepad++ 会自动识别 UTF-16 BOM。

操作步骤：

1. 打开文件，确认右下角状态栏显示UTF-16 LE；
2. 菜单栏选择“编码”；
3. 选择“转为 UTF-8 编码”或“转为 UTF-8 编码（带 BOM）”；
4. 选择“文件 -> 保存”。

注意：这里选择的是“转为”而不是“使用 UTF-8 编码”。“使用”不会改变文件本身，只改变显示方式。

是否带 BOM，取决于后续使用场景：

• 给 Linux 程序、数据库导入、API 接口使用，推荐不带 BOM 的 UTF-8；
• 给旧版 Excel、部分 Windows 记事本场景，带 BOM 更友好。

如果文件里包含大量中文，另存后可以在同目录下用对比工具或再次打开验证输出。

4.2 VS Code

VS Code 同样支持编码转换。

操作步骤：

1. 用 VS Code 打开文件；
2. 点击右下角编码显示区，例如UTF-16 LE；
3. 点击“Save with Encoding”或“通过编码保存”；
4. 选择UTF-8或UTF-8 with BOM。

VS Code 对超大文件支持得比 Notepad 好，但不建议处理 500 MB 以上的超大文件，编辑器打开和保存都容易卡顿。

编辑器法适合临时应急，缺点也很明显：单文件处理，批量文件效率太低，浪费时间也容易漏改。如果需要批量处理，继续往下看。

5. 方案二：iconv 命令行转换

iconv是 Linux 下最常用的编码转换命令，macOS 自带，Windows 环境可以通过 WSL、Git Bash、MSYS2 使用。

5.1 单文件转换

基本命令：

iconv -f UTF-16LE -t UTF-8 input.txt > output.txt

说明：

• -f UTF-16LE表示输入编码；
• -t UTF-8表示输出编码；
• >重定向到目标文件。

如果要生成带 BOM 的 UTF-8，需要额外处理，因为iconv默认不写 BOM。可以手动添加 BOM：

printf '\xef\xbb\xbf' > output.txt iconv -f UTF-16LE -t UTF-8 input.txt >> output.txt

或者直接使用UTF-8输出后，再用其他工具补 BOM。

5.2 批量转换当前目录内所有 .txt 文件

for file in *.txt; do iconv -f UTF-16LE -t UTF-8 "$file" > "utf8_${file}" done

注意：如果原文件名带空格，必须给$file加双引号。在 Windows 的 Git Bash 环境下，这段for循环也适用。

5.3 批量转换并覆盖原文件

先备份后覆盖，更安全：

mkdir -p backup for file in *.txt; do cp "$file" "backup/${file}" iconv -f UTF-16LE -t UTF-8 "$file" > "$file.tmp" mv "$file.tmp" "$file" done

执行前先小批量测试一个文件，确认转换结果无误再全量跑。

iconv的坑在于，如果输入文件实际不是 UTF-16LE，而文件又没有 BOM，iconv会返回illegal input sequence at position。遇到这种情况说明你猜错了编码，需要先回到第 2 节检测真实编码。

6. 方案三：PowerShell 一行命令转换

Windows 用户不想安装额外工具时，直接用 PowerShell。

6.1 PowerShell 5.1 下的写法

在 PowerShell 5.1 中，Get-Content的-Encoding Unicode代表 UTF-16LE，输出使用-Encoding UTF8：

Get-Content -Path "input.txt" -Encoding Unicode | Out-File -FilePath "output.txt" -Encoding UTF8

注意：PowerShell 5.1 输出的 UTF-8 默认带 BOM。如果你不希望输出带 BOM，用 .NET 方式会更精确。

6.2 使用 .NET 方法控制是否带 BOM

PowerShell 里可以直接调用 .NET API：

$content = [System.IO.File]::ReadAllText("input.txt", [System.Text.Encoding]::Unicode) [System.IO.File]::WriteAllText("output.txt", $content, [System.Text.UTF8Encoding]::new($false))

解释：

• [System.Text.Encoding]::Unicode就是 UTF-16LE；
• [System.Text.UTF8Encoding]::new($false)表示不带 BOM；
• 如果要带 BOM，把$false改成$true。

6.3 批量转换文件

假设要转换D:\data目录下所有.txt文件：

Get-ChildItem "D:\data\*.txt" | ForEach-Object { $file = $_.FullName $content = [System.IO.File]::ReadAllText($file, [System.Text.Encoding]::Unicode) $outputFile = Join-Path $_.DirectoryName ($_.BaseName + "_utf8" + $_.Extension) [System.IO.File]::WriteAllText($outputFile, $content, [System.Text.UTF8Encoding]::new($false)) }

PowerShell 方案的优点是 Windows 系统自带，无需安装 Python；缺点是中文 Windows 的默认编码策略可能导致个别字符写出异常。转换后需要抽查文件开头确认不是乱码。

7. 方案四：Python 批量转换脚本

如果文件数量多、目录层次深、还涉及自动化，建议直接用 Python 脚本。这也是最推荐的处理方式。

先给一个通用的utf16le_to_utf8.py脚本。

7.1 单文件转换脚本

# -*- coding: utf-8 -*- from pathlib import Path def convert_file(src: str, dest: str = "", remove_utf16_bom: bool = True, output_bom: bool = False) -> None: src_path = Path(src) if not src_path.exists(): raise FileNotFoundError(f"file not found: {src}") # 读取 UTF-16LE 内容（自动处理 BOM） # errors='strict' 遇到无法解码的字节直接报错，避免生成损坏文件 content = src_path.read_text(encoding="utf-16") if remove_utf16_bom and content.startswith("\ufeff"): content = content[1:] if dest: dest_path = Path(dest) else: dest_path = src_path.with_suffix(src_path.suffix + ".utf8.txt") # 写 UTF-8，output_bom 为 True 则自动写入 BOM if output_bom: dest_path.write_text("\ufeff" + content, encoding="utf-8") else: dest_path.write_text(content, encoding="utf-8") if __name__ == "__main__": import sys if len(sys.argv) < 2: print("Usage: python utf16le_to_utf8.py <input_file> [output_file]") print("Example: python utf16le_to_utf8.py data.csv data_utf8.csv") sys.exit(1) src_file = sys.argv[1] dst_file = sys.argv[2] if len(sys.argv) > 2 else "" convert_file(src_file, dst_file) print("done")

使用方式：

python utf16le_to_utf8.py input.txt output.txt

Python 的utf-16编码会读取文件开头的 BOM，并自动识别 LE/BE。如果源文件没有 BOM，需要把编码参数改成utf-16-le。

确认没有 BOM 时可以这样处理：

content = src_path.read_text(encoding="utf-16-le")

如果文件开头确实没有 BOM，Python 读取不会报错，但一旦遇到中文字符，内容就会串位。最稳妥的做法是先看 BOM，确定是否存在 BOM 再用utf-16或utf-16-le。

7.2 批量递归目录转换脚本

# -*- coding: utf-8 -*- from pathlib import Path INPUT_ENCODING = "utf-16" INPUT_SUFFIXES = [".txt", ".csv"] BACKUP_DIR = Path("./backup") OUTPUT_BOM = False def is_bom_utf16_file(path: Path) -> bool: with path.open("rb") as f: head = f.read(2) return head in (b"\xff\xfe", b"\xfe\xff") def convert_dir(input_dir: str, output_dir: str = "output") -> None: input_root = Path(input_dir) output_root = Path(output_dir) output_root.mkdir(parents=True, exist_ok=True) BACKUP_DIR.mkdir(parents=True, exist_ok=True) files = [p for p in input_root.rglob("*") if p.is_file() and p.suffix in INPUT_SUFFIXES] if not files: print("no matching files") return for file in files: try: if not is_bom_utf16_file(file): print(f"skip {file} (not utf16)") continue # 自动按 BOM 读取，保留原内容 content = file.read_text(encoding=INPUT_ENCODING) # 生成目标路径，保留相对目录结构 rel_path = file.relative_to(input_root) dest_path = output_root / rel_path dest_path.parent.mkdir(parents=True, exist_ok=True) # 备份原文件 backup_path = BACKUP_DIR / rel_path backup_path.parent.mkdir(parents=True, exist_ok=True) backup_path.write_bytes(file.read_bytes()) if OUTPUT_BOM: dest_path.write_text("\ufeff" + content, encoding="utf-8") else: dest_path.write_text(content, encoding="utf-8") print(f"converted: {file} -> {dest_path}") except Exception as e: print(f"failed: {file}: {e}") if __name__ == "__main__": input_dir = input("input dir: ").strip() or "./input" output_dir = input("output dir: ").strip() or "./output" convert_dir(input_dir, output_dir)

脚本逻辑：

1. 扫描输入目录下所有.txt和.csv文件；
2. 通过文件头FF FE或FE FF判断是否为 UTF-16 带 BOM 文件；
3. 自动备份原文件到backup目录；
4. 转换结果写入输出目录，保留原始文件目录结构；
5. 个别文件失败不会中断整体流程。

7.3 大文件流式转换

如果文件达到几百 MB，直接read_text()会把整体内容读入内存，容易导致内存飙升。可以分段读取：

from pathlib import Path src_file = "large_input.txt" dst_file = "large_output.txt" with open(src_file, "r", encoding="utf-16", errors="strict") as fin: with open(dst_file, "w", encoding="utf-8") as fout: while True: chunk = fin.read(65536) if not chunk: break fout.write(chunk)

这个方案每次读取约 64K 个字符，在内存占用上更可控。注意 UTF-16 两个字节一个单元，Python 的文本方式会按行和字符自动处理，避免跨块切断字符的问题。

8. 方案五：Excel 另存法（备用）

如果手头只有 Office，不想打开命令行，也可以靠 Excel 间接转换。

1. 打开 Excel；
2. 选择“数据 -> 自文本/CSV”导入源文件；
3. 导入时选择“文件原始格式：Unicode (UTF-16LE)”；
4. 确认表格内容正确；
5. 选择“文件 -> 另存为 -> CSV UTF-8”。

这个办法适合少量 CSV 数据，但有个明显限制：Excel 打开超大 CSV 很吃力，且纯文本文件没有表格结构，强行导入可能丢失原始换行信息。不建议把它作为主要转换方案，只作为临时应急。

9. 最容易翻车的几个细节

9.1 不要忽略 BOM 对业务系统的影响

UTF-16LE 文件通常带 BOM，转成 UTF-8 后是否保留 BOM 会影响结果。很多 Linux 命令和 Java 程序会直接判断文件前三个字节，带 BOM 可能导致首列出现\ufeff。接口对接时，如果对方没有明确要求，优先使用不带 BOM 的 UTF-8。

9.2 源文件可能存在多行或混合编码

CSV 文件里如果某些字段本身嵌入换行符，用 Notepad++ 打开可能看不出问题，但批量脚本处理时必须保证逐行读取和按字符读取不会破坏内容。上面的 Python 脚本使用read_text整体读取，能保留所有换行符，不会误切字段。

9.3 转码不可逆：备份原文件

UTF-16LE 转 UTF-8 不是无损恢复操作。如果原文件里有非法代理对、未映射字符或控制字节，转成 UTF-8 时这些信息可能会被替换或丢失。因此，批量转换之前一定要把原文件单独保存到备份目录。

9.4 编码猜测错误

如果原文件其实不是 UTF-16LE，而是 GBK 或其他编码的文本，强行按 UTF-16LE 解码会得到大量乱码。后果是转换完成后不仅没有修复问题，反而破坏原始内容。每批转换前先抽查 5-10 个文件，确认判断正确。

9.5 Windows 默认区域设置差异

简体中文 Windows 的 Python 文件读写默认编码受系统区域设置影响。建议在脚本开头不依赖locale，而是显式指定encoding="utf-8"，避免不同机器上行为不一致。

10. 常见问题与排查方法

11. 最佳实践与工程建议

11.1 建立“备份 - 转换 - 校验”三段流程

批量转换不是替换一下编码就结束，而是一个数据处理流程。建议每次批量操作都按下面这三步执行：

1. 备份原文件夹，保留原来的 UTF-16LE 文件不覆盖；
2. 转换后新生成的文件放到独立output目录；
3. 抽样校验：打开输出文件，检查开头中文、字段数量、总行数是否与源文件一致。

11.2 让脚本输出日志

批量脚本在跑 1000 个文件时，直接打印在终端里会看不清。最好把成功和失败记录写进日志文件：

import logging logging.basicConfig( filename="convert.log", level=logging.INFO, format="%(asctime)s %(levelname)s %(message)s" )

成功和失败都打日志，后面排查时就有据可查。

11.3 先小批量测试再全量执行

无论用iconv、PowerShell 还是 Python，第一次正式转换前先挑 3 个文件试跑。打开试跑的产物，确认首行、中文、特殊符号无误后再扩大范围。这个习惯能省掉很多“1000 个文件全部转错”的惨案。

11.4 把编码转换做成可复用工具

对团队或自己维护的数据管线，建议把第 7 节的 Python 代码封装成一个命令行工具，支持输入目录、输出目录、是否添加 BOM、是否备份等参数。之后无论从 Excel 导出、旧系统迁移还是合作伙伴发来的文件，都可以用同一套逻辑处理。

11.5 转码结果用对比文件验证

如果文件是结构化数据，例如 CSV、TSV，转换后做一次行数统计和字段数统计：

wc -l input.txt wc -l output.txt

再用diff对比转换后的 UTF-8 文件与源文件解析结果。对于文本内容，也可以先转换为统一编码后运行一次校验脚本，确保数据行没有凭空减少或增加。

12. 总结

UTF-16LE 文本转 UTF-8，本质上就是“把字节码按 UTF-16LE 解码，再用 UTF-8 编码重新写入”。最省事的临时处理用 Notepad++ 或 VS Code；批量处理用iconv或 Python 脚本；Windows 场景里 PowerShell 也能达到同样效果。

核心要点再过一遍：

• 转换前先确认文件是不是 UTF-16LE，文件头FF FE是最重要标志；
• 注意输出是否带 BOM，业务系统对接前先确认要求；
• 批量任务一定要备份原文件；
• 大规模转换先小规模测试，再跑全量；
• 建议直接把 Python 脚本留在本地，以后遇到编码问题随手就能用。

这篇文章里给的代码都可以直接复制使用。如果你手里正好有一批 UTF-16LE 的文件，建议先拿一个小文件按第 4 节或第 7 节跑通，再去处理整个目录。处理完成记得抽查结果，稳定后可以把方案固化成脚本，下次遇到同类型问题就不再需要手动操作了。