news 2026/9/27 0:26:30

高效读取 100 万行 Excel 大文件数据

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
高效读取 100 万行 Excel 大文件数据

我先尝试了市面上常见的几套方案:

方法描述性能结果结论
pandas方便但会一次性加载大内存20–40 秒太慢
openpyxl原生解析 xlsx60 秒以上最慢
pyxlsb解析 xlsb 二进制~3min30s可用但不够
CSV(Excel 转 UTF-8)纯文本读取9 秒内最快方案,无可争议

👉 大量资料与 GPT 的技术建议都指向:CSV 是读取速度最快的格式(文本解析远快于 XML / PKG 结构)

但第一次用 CSV 时却发现速度不够快,排查后发现:

❌ 用代码转换 xlsx → csv,非常慢

✅ 用原生 Excel 手动转换为 CSV UTF-8,性能最高 (WPS 转的 CSV 不是 UTF-8,会导致解析异常,不推荐)

最终测试:CSV UTF-8 格式 → 读取 80 万行,仅需 8–9 秒

性能提升超过20 倍。


方案一(对比用):XLSB 版本(3.5 分钟)

from pyxlsb import open_workbook def read_xlsb_to_3d_list(file_path, sheet_name, chunk_size=10000): result = [] current_chunk = [] row_count = 0 with open_workbook(file_path) as wb: with wb.get_sheet(sheet_name) as sheet: for i, row in enumerate(sheet.rows(), start=1): if i == 1: continue row_data = [cell.v for cell in row] current_chunk.append(row_data) row_count += 1 if row_count % chunk_size == 0: result.append(current_chunk) current_chunk = [] if current_chunk: result.append(current_chunk) return result

优点:能直接读取 xlsb缺点:速度慢,不适合百万级数据


最终推荐方案:CSV 超高速版本(9 秒内)

性能最佳的做法流程

  1. 用 Excel 手动把.xlsx转为.csv (UTF-8)

  2. 使用下面的纯 Python CSV 流式读取代码

高性能 CSV 方案代码

import csv def read_csv_as_3d_list(csv_path, batch_size=10000, encoding="utf-8"): all_data = [] batches = [] current_batch = [] with open(csv_path, "r", encoding=encoding, newline="") as f: reader = csv.reader(f) next(reader, None) # 跳过表头 for row in reader: all_data.append(row) current_batch.append(row) if len(current_batch) >= batch_size: batches.append(current_batch) current_batch = [] if current_batch: batches.append(current_batch) return [all_data, batches]

实测结果(80 万行)

  • ⏱ 耗时:8–10 秒

  • ✔ 内存占用稳定

  • ✔ 三维结构满足 RPA 使用场景

  • ✔ 影刀流程执行无卡顿


经验总结

  1. 格式比工具更重要:CSV 是绝对的性能王者

XLSX 是压缩包 + XML,需要大量解析成本。

CSV 是纯文本,解析速度是数量级优势。

  1. 不推荐用 WPS 转 CSV

WPS 导出的 CSV 默认编码不是 UTF-8,会导致解析异常。

  1. 大文件一定要流式读取

不要一次性加载 DataFrame,否则内存和 CPU 都会爆。

  1. 每 1 万行切片是最佳折中

可兼顾可视化和后续处理的性能。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/27 17:50:09

客户群 ID 与业务 ID 映射:设计高性能数据库表结构,实现 ChatID 与内部业务标签的快速关联

在完成了 ChatID 的同步后,下一步的关键是建立一套高效的数据模型,将企业微信的 ChatID 与我们业务系统的 客户标签、产品线、生命周期阶段等属性关联起来,这是实现精准群发目标筛选的基础。 1. 映射模型的必要性 企业微信 API 只提供群聊 …

作者头像 李华
网站建设 2026/9/27 16:59:35

代码随想录算法训练营Day48 | 108.冗余连接、109.冗余连接II

KamaCoder108.冗余连接 108. 多余的边 1.思路 对于边 (s, t),使用 find(s) 和 find(t) 分别查找 s 和 t 所在集合的根节点。 如果根节点相同:说明 s 和 t 本来就在同一个集合中,即它们已经连通。此时,边 (s, t) 的加入必定会形成…

作者头像 李华
网站建设 2026/9/27 7:41:30

微信网页版访问困境突破:3步安装wechat-need-web插件实战指南

你是否曾经在工作中急需使用微信网页版,却遭遇访问限制的困扰?在数字化办公时代,微信已经成为我们日常沟通不可或缺的工具,但网页版的访问问题却让无数用户头疼不已。今天,我们将为你揭秘一个简单有效的解决方案&#…

作者头像 李华
网站建设 2026/9/26 5:20:09

MFC扩展库BCGControlBar Pro v37.1——支持Visual Studio 2026

BCGControlBar库拥有500多个经过全面设计、测试和充分记录的MFC扩展类。 我们的组件可以轻松地集成到您的应用程序中,并为您节省数百个开发和调试时间。 BCGControlBar专业版 v37.1已全新发布了,新版本增加了对Visual Studio 2026的支持(仅限…

作者头像 李华
网站建设 2026/9/26 12:21:00

知乎专题策划:LobeChat是否真的值得入手?

LobeChat 是否值得入手?一场关于自主 AI 未来的深度思考 在大模型浪潮席卷全球的今天,我们早已不再惊讶于 AI 能写诗、编程或回答复杂问题。真正让人纠结的是:如何安全、可控地使用这些能力? 当你在 ChatGPT 中输入一段代码需求时…

作者头像 李华