Spring Boot+EasyExcel百万级数据导出优化方案

1. 项目概述

在Java后端开发中，Excel导出是一个常见但容易出问题的功能点。当数据量达到百万级别时，传统的POI或EasyExcel全量导出方式极易引发OOM（内存溢出）问题。本文将分享一个基于Spring Boot和EasyExcel的百万级数据导出解决方案，通过分页查询、分批写入和异步处理等核心技术手段，彻底解决大数据量导出的内存问题。

这个方案的核心价值在于：

• 小数据量（<1万条）直接全量导出，简单高效
• 大数据量（1万-50万条）采用分页查询+分批写入，避免内存溢出
• 超大数据量（百万级）引入异步导出机制，支持进度查询和结果下载

2. 技术选型与原理

2.1 为什么选择EasyExcel

EasyExcel是阿里巴巴开源的一款Excel处理工具，相比传统Apache POI有以下优势：

1. 内存优化：采用逐行解析模式，不会一次性加载整个文件到内存
2. API简洁：链式调用风格，代码可读性高
3. 功能丰富：支持复杂表头、合并单元格、自定义样式等
4. 性能优异：实测百万数据导出时间在3-5分钟（取决于硬件配置）

2.2 内存问题根源分析

传统导出方案的OOM问题主要来自两个环节：

1. 数据加载阶段：一次性从数据库查询全量数据到内存
2. Excel构建阶段：在内存中构建完整的Excel对象模型

我们的解决方案通过以下方式规避这些问题：

• 分页查询：每次只加载部分数据（如3000条）
• 分批写入：每批数据写入后立即释放内存
• 流式输出：通过OutputStream直接写入响应，不缓存完整文件

3. 核心实现详解

3.1 基础环境准备

首先确保项目中已引入必要依赖：

<!-- EasyExcel核心依赖 --> <dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <version>3.3.2</version> </dependency> <!-- Spring Web相关 --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency>

3.2 核心工具类设计

3.2.1 ExcelExporter工具类

作为统一入口，封装了两种导出模式：

public class ExcelExporter { // 分页导出（大数据量） public static <T> void exportByPage(HttpServletResponse response, String fileName, String sheetName, Class<T> dataModel, int pageSize, int totalCount, PageQuerySupplier<T> pageSupplier) { // 设置响应头 setupResponse(response, fileName); try (OutputStream out = response.getOutputStream()) { PageWriteExcelHelper.writeByPage(out, dataModel, sheetName, pageSize, totalCount, pageSupplier); } catch (Exception e) { throw new RuntimeException("导出失败", e); } } // 简单导出（小数据量） public static <T> void exportSimple(HttpServletResponse response, String fileName, String sheetName, Class<T> dataModel, List<T> dataList) { setupResponse(response, fileName); try (OutputStream out = response.getOutputStream()) { EasyExcel.write(out, dataModel) .sheet(sheetName) .doWrite(dataList); } catch (Exception e) { throw new RuntimeException("导出失败", e); } } // 响应头设置（私有方法） private static void setupResponse(HttpServletResponse response, String fileName) { // 设置Content-Type和编码 response.setContentType("application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"); response.setCharacterEncoding("UTF-8"); // 处理文件名中的中文和空格 String encodedFileName = URLEncoder.encode(fileName, "UTF-8") .replaceAll("\\+", "%20"); response.setHeader("Content-disposition", "attachment;filename=" + encodedFileName + ".xlsx"); } // 分页查询函数式接口 @FunctionalInterface public interface PageQuerySupplier<T> { List<T> getPage(int pageNum, int pageSize); } }

3.2.2 PageWriteExcelHelper分页写入核心

public class PageWriteExcelHelper { public static <T> void writeByPage(OutputStream outputStream, Class<T> head, String sheetName, int pageSize, int totalCount, PageQuerySupplier<T> supplier) { ExcelWriter excelWriter = EasyExcel.write(outputStream, head).build(); WriteSheet writeSheet = EasyExcel.writerSheet(sheetName).build(); try { // 计算总页数 int totalPage = totalCount > 0 ? (int) Math.ceil((double) totalCount / pageSize) : 1; // 分页循环处理 for (int pageNum = 1; pageNum <= totalPage; pageNum++) { List<T> pageData = supplier.getPage(pageNum, pageSize); excelWriter.write(pageData, writeSheet); pageData.clear(); // 关键：立即释放当前页内存 } } finally { if (excelWriter != null) { excelWriter.finish(); // 必须关闭资源 } } } }

3.3 业务层实现

3.3.1 数据模型定义

@Data public class User { @ExcelProperty("用户ID") private Long id; @ExcelProperty("用户名") private String username; @ExcelProperty("手机号") private String phone; @ExcelProperty("创建时间") private String createTime; }

3.3.2 Service层实现

@Service public class UserService { @Autowired private UserMapper userMapper; // 全量查询（仅用于小数据量） public List<User> findAllUsers() { return userMapper.selectAll(); } // 分页查询（大数据量核心） public List<User> findByPage(int pageNum, int pageSize) { int offset = (pageNum - 1) * pageSize; return userMapper.selectByPage(offset, pageSize); } // 查询总数 public int countTotalUsers() { return userMapper.countTotal(); } }

3.3.3 Controller层接口

@RestController @RequestMapping("/export") public class ExportController { @Autowired private UserService userService; // 小数据量导出 @GetMapping("/small") public void exportSmall(HttpServletResponse response) { List<User> data = userService.findAllUsers(); ExcelExporter.exportSimple(response, "用户列表", "用户数据", User.class, data); } // 大数据量导出 @GetMapping("/large") public void exportLarge(HttpServletResponse response) { int total = userService.countTotalUsers(); ExcelExporter.exportByPage(response, "全量用户", "用户清单", User.class, 3000, total, (pageNum, size) -> userService.findByPage(pageNum, size)); } }

4. 高级功能：异步���出

对于百万级数据，同步导出会导致请求超时，必须采用异步方案。

4.1 线程池配置

@Configuration public class ThreadPoolConfig { @Bean public ThreadPoolExecutor exportExecutor() { return new ThreadPoolExecutor( 5, 10, 60, TimeUnit.SECONDS, new LinkedBlockingQueue<>(100), new ThreadFactory() { private int count = 0; @Override public Thread newThread(Runnable r) { return new Thread(r, "export-" + (++count)); } }, new ThreadPoolExecutor.CallerRunsPolicy() ); } }

4.2 异步导出实现

@RestController @RequestMapping("/async-export") public class AsyncExportController { @Autowired private UserService userService; @Autowired private ThreadPoolExecutor exportExecutor; @Autowired private ExportTaskService taskService; @GetMapping("/trigger") public String triggerExport() { String taskId = "TASK_" + System.currentTimeMillis(); exportExecutor.execute(() -> { // 初始化任务状态 taskService.startTask(taskId); try { int total = userService.countTotalUsers(); String filePath = "/tmp/export/" + taskId + ".xlsx"; // 分页导出到临时文件 try (FileOutputStream out = new FileOutputStream(filePath)) { PageWriteExcelHelper.writeByPage(out, User.class, "用户数据", 3000, total, (pageNum, size) -> { List<User> page = userService.findByPage(pageNum, size); // 更新进度 taskService.updateProgress(taskId, pageNum * size * 100 / total); return page; }); } // 标记任务完成 taskService.completeTask(taskId, filePath); } catch (Exception e) { taskService.failTask(taskId, e.getMessage()); } }); return "导出任务已启动，ID: " + taskId; } @GetMapping("/progress/{taskId}") public ExportProgress getProgress(@PathVariable String taskId) { return taskService.getProgress(taskId); } @GetMapping("/download/{taskId}") public void download(@PathVariable String taskId, HttpServletResponse response) { ExportTask task = taskService.getTask(taskId); if (task == null || !"COMPLETED".equals(task.getStatus())) { throw new RuntimeException("任务不存在或未完成"); } File file = new File(task.getFilePath()); try (InputStream in = new FileInputStream(file); OutputStream out = response.getOutputStream()) { response.setContentType("application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"); response.setHeader("Content-disposition", "attachment;filename=export_" + taskId + ".xlsx"); byte[] buffer = new byte[1024]; int len; while ((len = in.read(buffer)) > 0) { out.write(buffer, 0, len); } } catch (Exception e) { throw new RuntimeException("下载失败", e); } } }

5. 性能优化与注意事项

5.1 关键参数调优

1. 页大小选择：

   • 建议范围：1000-5000条/页
   • 内存充足：可适当增大（减少IO次数）
   • 内存紧张：减小页大小（降低单次内存占用）

2. 线程池配置：

   • 核心线程数：CPU核心数+1
   • 最大线程数：根据系统负载调整
   • 队列容量：避免设置过大导致内存积压

5.2 常见问题排查

5.3 最佳实践建议

1. 生产环境建议：

   • 异步导出文件存储到OSS等对象存储
   • 定期清理临时文件（建议使用Spring的@Scheduled）
   • 添加导出权限控制和操作日志

2. 监控指标：

   • 导出任务平均耗时
   • 内存使用峰值
   • 并发导出任务数

3. 扩展思考：

   • 支持CSV格式导出（数据量更大时）
   • 添加导出模板自定义功能
   • 实现断点续传功能（超大数据量）

6. 实测数据与效果对比

我们在测试环境（4核8G）进行了性能测试：

关键发现：

1. 小数据量时性能差异不大
2. 10万条以上传统方式必然OOM
3. 分页方式内存占用稳定，与数据量无关

7. 完整代码获取与使用

本文涉及的完整代码已托管至GitHub仓库，包含：

• 核心工具类（ExcelExporter、PageWriteExcelHelper）
• Spring Boot集成示例
• 异步导出完整实现
• 单元测试用例

使用步骤：

1. 克隆仓库
2. 导入IDE
3. 修改application.yml中的数据库配置
4. 运行ExportApplication启动类
5. 访问/swagger-ui.html查看接口文档

实际项目中，建议将核心工具类打包为独立模块，通过Maven依赖引入。