有效提升大数据量写入excel的效率

在开发过程中经常会有需要将数据导出到 excel 的需求，当数据量很大，达到几万甚至几十万、几百万级别的时候，如何加快生成 excel 的速度呢？
首先普及一下知识背景：
Excel2003 及以下版本一张表最多支持 65536 行、256 列数据，所以要生成十万、百万级别数据就不能用 Excel2003 了；
Excel2007 版本一张表最多支持1048576行，16384 列，基本可以满足百万级别以下的数据量级。

一般通过 poi 生成 excel 的方式如下：(原谅我以前没有研究过poi，就只会用这种方式，而且网上的demo好多也是这种方式)

 public static void exportDataToExcel1(String[] header, List<String[]> datas, String path) {

         File file = new File(path);

         Workbook workbook = null;

         if (path.endsWith(EXCEL_2003)) {

             workbook = new HSSFWorkbook();

         }

         if (path.endsWith(EXCEL_2007)) {

             workbook = new XSSFWorkbook();

         }

         Sheet sheet = workbook.createSheet();

         Row firstRow = sheet.createRow(0); //第一行

         for (int i = 0; i < header.length; i++) {

             Cell cell = firstRow.createCell(i);

             cell.setCellValue(header[i]);

         }

         if (datas != null && datas.size() > 0) {

             for (int i = 0; i < datas.size(); i++) {

                 Row row = sheet.createRow(i + 1);

                 String[] d = datas.get(i);

                 for (int j = 0; j < d.length; j++) {

                     Cell cell = row.createCell(j);

                     cell.setCellValue(d[j]);

                 }

             }

         }

         try {

             OutputStream outputStream = new FileOutputStream(file);

             workbook.write(outputStream);

             outputStream.flush();

             outputStream.close();

         } catch (FileNotFoundException e) {

             e.printStackTrace();

         } catch (IOException e) {

             e.printStackTrace();

         }

     }

利用上述方式生成一张 10万行、30 列的 excel 表在我的电脑上耗时大约40多秒

数据准备了 1731 ms

导出花费了 46795 ms

查看 poi 官网http://poi.apache.org/spreadsheet/index.html发现从 3.8 beta3 版本开始新增 SXSSF api 用于解决大数据量场景

这种方式新增了自动刷入数据的机制，可以设置一个数据量阈值，达到这个阈值后会将数据刷入到磁盘，缓解了运行时的压力。

改后的代码如下：

public static void exportDataToExcel(String[] header, List<String[]> datas, String path) {

        File file = new File(path);

        SXSSFWorkbook sxssfWorkbook = new SXSSFWorkbook(100);

        Sheet sheet = sxssfWorkbook.createSheet();

        Row firstRow = sheet.createRow(0);         //第一行

        for (int i = 0; i < header.length; i++) {

            Cell cell = firstRow.createCell(i);

            cell.setCellValue(header[i]);

        }

        if (datas != null && datas.size() > 0) {

            for (int i = 0; i < datas.size(); i++) {

                Row row = sheet.createRow(i + 1);

                String[] d = datas.get(i);

                for (int j = 0; j < d.length; j++) {

                    Cell cell = row.createCell(j);

                    cell.setCellValue(d[j]);

                }

            }

        }

        try {

            OutputStream outputStream = new FileOutputStream(file);

            sxssfWorkbook.write(outputStream);

            outputStream.flush();

            outputStream.close();

        } catch (FileNotFoundException e) {

            e.printStackTrace();

        } catch (IOException e) {

            e.printStackTrace();

        }finally {

            sxssfWorkbook.dispose();

        }

    }

使用这种方式测试相同量级的数据，导出excel缩短到了6、7秒，可见这个提升幅度还是很明显的。

数据准备了 1096 ms

导出花费了 6784 ms

巴特西

有效提升大数据量写入excel的效率

最新文章

热门文章