文章來源于公眾號：Throwable ，作者Throwable
前提
導(dǎo)出數(shù)據(jù)到Excel是非常常見的后端需求之一，今天來推薦一款阿里出品的Excel操作神器：EasyExcel。EasyExcel從其依賴樹來看是對apache-poi的封裝，筆者從開始接觸Excel處理就選用了EasyExcel，避免了廣泛流傳的apache-poi導(dǎo)致的內(nèi)存泄漏問題。
引入EasyExcel依賴
引入EasyExcel的Maven如下：
com.alibaba
easyexcel
${easyexcel.version}
當(dāng)前（2020-09）的最新版本為2.2.6。
API簡介
Excel文件主要圍繞讀和寫操作進行處理，EasyExcel的API也是圍繞這兩個方面進行設(shè)計。先看讀操作的相關(guān)API：
// 新建一個ExcelReaderBuilder實例
ExcelReaderBuilder readerBuilder = EasyExcel.read();
// 讀取的文件對象，可以是File、路徑（字符串）或者InputStream實例
readerBuilder.file("");
// 文件的密碼
readerBuilder.password("");
// 指定sheet，可以是數(shù)字序號sheetNo或者字符串sheetName，若不指定則會讀取所有的sheet
readerBuilder.sheet("");
// 是否自動關(guān)閉輸入流
readerBuilder.autoCloseStream(true);
// Excel文件格式，包括ExcelTypeEnum.XLSX和ExcelTypeEnum.XLS
readerBuilder.excelType(ExcelTypeEnum.XLSX);
// 指定文件的標(biāo)題行，可以是Class對象（結(jié)合@ExcelProperty注解使用），或者List實例
readerBuilder.head(Collections.singletonList(Collections.singletonList("head")));
// 注冊讀取事件的監(jiān)聽器，默認的數(shù)據(jù)類型為Map，第一列的元素的下標(biāo)從0開始
readerBuilder.registerReadListener(new AnalysisEventListener() {
@Override
public void invokeHeadMap(Map headMap, AnalysisContext context) {
// 這里會回調(diào)標(biāo)題行，文件內(nèi)容的首行會認為是標(biāo)題行
}
@Override
public void invoke(Object o, AnalysisContext analysisContext) {
// 這里會回調(diào)每行的數(shù)據(jù)
}
@Override
public void doAfterAllAnalysed(AnalysisContext analysisContext) {
}
});
// 構(gòu)建讀取器
ExcelReader excelReader = readerBuilder.build();
// 讀取數(shù)據(jù)
excelReader.readAll();
excelReader.finish();
可以看到，讀操作主要使用Builder模式和事件監(jiān)聽（或者可以理解為「觀察者模式」）的設(shè)計。一般情況下，上面的代碼可以簡化如下：
Map head = new HashMap();
List data = new LinkedList();
EasyExcel.read("文件的絕對路徑").sheet()
.registerReadListener(new AnalysisEventListener() {
@Override
public void invokeHeadMap(Map headMap, AnalysisContext context) {
head.putAll(headMap);
}
@Override
public void invoke(Map row, AnalysisContext analysisContext) {
data.add(row);
}
@Override
public void doAfterAllAnalysed(AnalysisContext analysisContext) {
// 這里可以打印日志告知所有行讀取完畢
}
}).doRead();
如果需要讀取數(shù)據(jù)并且轉(zhuǎn)換為對應(yīng)的對象列表，則需要指定標(biāo)題行的Class，結(jié)合注解@ExcelProperty使用：
文件內(nèi)容：
|訂單編號|手機號|
|ORDER_ID_1|112222|
|ORDER_ID_2|334455|
@Data
private static class OrderDTO {
@ExcelProperty(value = "訂單編號")
private String orderId;
@ExcelProperty(value = "手機號")
private String phone;
}
Map head = new HashMap();
List data = new LinkedList();
EasyExcel.read("文件的絕對路徑").head(OrderDTO.class).sheet()
.registerReadListener(new AnalysisEventListener() {
@Override
public void invokeHeadMap(Map headMap, AnalysisContext context) {
head.putAll(headMap);
}
@Override
public void invoke(OrderDTO row, AnalysisContext analysisContext) {
data.add(row);
}
@Override
public void doAfterAllAnalysed(AnalysisContext analysisContext) {
// 這里可以打印日志告知所有行讀取完畢
}
}).doRead();
「如果數(shù)據(jù)量巨大，建議使用Map類型讀取和操作數(shù)據(jù)對象，否則大量的反射操作會使讀取數(shù)據(jù)的耗時大大增加，極端情況下，例如屬性多的時候反射操作的耗時有可能比讀取和遍歷的時間長」。
接著看寫操作的API：
// 新建一個ExcelWriterBuilder實例
ExcelWriterBuilder writerBuilder = EasyExcel.write();
// 輸出的文件對象，可以是File、路徑（字符串）或者OutputStream實例
writerBuilder.file("");
// 指定sheet，可以是數(shù)字序號sheetNo或者字符串sheetName，可以不設(shè)置，由下面提到的WriteSheet覆蓋
writerBuilder.sheet("");
// 文件的密碼
writerBuilder.password("");
// Excel文件格式，包括ExcelTypeEnum.XLSX和ExcelTypeEnum.XLS
writerBuilder.excelType(ExcelTypeEnum.XLSX);
// 是否自動關(guān)閉輸出流
writerBuilder.autoCloseStream(true);
// 指定文件的標(biāo)題行，可以是Class對象（結(jié)合@ExcelProperty注解使用），或者List實例
writerBuilder.head(Collections.singletonList(Collections.singletonList("head")));
// 構(gòu)建ExcelWriter實例
ExcelWriter excelWriter = writerBuilder.build();
List data = new ArrayList();
// 構(gòu)建輸出的sheet
WriteSheet writeSheet = new WriteSheet();
writeSheet.setSheetName("target");
excelWriter.write(data, writeSheet);
// 這一步一定要調(diào)用，否則輸出的文件有可能不完整
excelWriter.finish();
ExcelWriterBuilder中還有很多樣式、行處理器、轉(zhuǎn)換器設(shè)置等方法，筆者覺得不常用，這里不做舉例，內(nèi)容的樣式通常在輸出文件之后再次加工會更加容易操作。寫操作一般可以簡化如下：
List head = new ArrayList();
List data = new LinkedList();
EasyExcel.write("輸出文件絕對路徑")
.head(head)
.excelType(ExcelTypeEnum.XLSX)
.sheet("target")
.doWrite(data);實用技巧
下面簡單介紹一下生產(chǎn)中用到的實用技巧。
多線程讀
使用EasyExcel多線程讀建議在限定的前提條件下使用：
- 源文件已經(jīng)被分割成多個小文件，并且每個小文件的標(biāo)題行和列數(shù)一致。
- 機器內(nèi)存要充足，因為并發(fā)讀取的結(jié)果最后需要合并成一個大的結(jié)果集，全部數(shù)據(jù)存放在內(nèi)存中。
經(jīng)常遇到外部反饋的多份文件需要緊急進行數(shù)據(jù)分析或者交叉校對，為了加快文件讀取，筆者通常使用這種方式批量讀取格式一致的Excel文件
一個簡單的例子如下：
@Slf4j
public class EasyExcelConcurrentRead {
static final int N_CPU = Runtime.getRuntime().availableProcessors();
public static void main(String[] args) throws Exception {
// 假設(shè)I盤的temp目錄下有一堆同格式的Excel文件
String dir = "I:\\temp";
List mergeResult = Lists.newLinkedList();
ThreadPoolExecutor executor = new ThreadPoolExecutor(N_CPU, N_CPU * 2, 0, TimeUnit.SECONDS,
new LinkedBlockingQueue(), new ThreadFactory() {
private final AtomicInteger counter = new AtomicInteger();
@Override
public Thread newThread(@NotNull Runnable r) {
Thread thread = new Thread(r);
thread.setDaemon(true);
thread.setName("ExcelReadWorker-" + counter.getAndIncrement());
return thread;
}
});
Path dirPath = Paths.get(dir);
if (Files.isDirectory(dirPath)) {
List futures = Files.list(dirPath)
.map(path -> path.toAbsolutePath().toString())
.filter(absolutePath -> absolutePath.endsWith(".xls") || absolutePath.endsWith(".xlsx"))
.map(absolutePath -> executor.submit(new ReadTask(absolutePath)))
.collect(Collectors.toList());
for (Future future : futures) {
mergeResult.addAll(future.get());
}
}
log.info("讀取[{}]目錄下的文件成功,一共加載:{}行數(shù)據(jù)", dir, mergeResult.size());
// 其他業(yè)務(wù)邏輯.....
}
@RequiredArgsConstructor
private static class ReadTask implements Callable {
private final String location;
@Override
public List call() throws Exception {
List data = Lists.newLinkedList();
EasyExcel.read(location).sheet()
.registerReadListener(new AnalysisEventListener() {
@Override
public void invoke(Map row, AnalysisContext analysisContext) {
data.add(row);
}
@Override
public void doAfterAllAnalysed(AnalysisContext analysisContext) {
log.info("讀取路徑[{}]文件成功,一共[{}]行", location, data.size());
}
}).doRead();
return data;
}
}
}
這里采用ThreadPoolExecutor#submit()提交并發(fā)讀的任務(wù)，然后使用Future#get()等待所有任務(wù)完成之后再合并最終的讀取結(jié)果。
注意，一般文件的寫操作不能并發(fā)執(zhí)行，否則很大的概率會導(dǎo)致數(shù)據(jù)錯亂
多Sheet寫
多Sheet寫，其實就是使用同一個ExcelWriter實例，寫入多個WriteSheet實例中，每個Sheet的標(biāo)題行可以通過WriteSheet實例中的配置屬性進行覆蓋，代碼如下：
public class EasyExcelMultiSheetWrite {
public static void main(String[] args) throws Exception {
ExcelWriterBuilder writerBuilder = EasyExcel.write();
writerBuilder.excelType(ExcelTypeEnum.XLSX);
writerBuilder.autoCloseStream(true);
writerBuilder.file("I:\\temp\\temp.xlsx");
ExcelWriter excelWriter = writerBuilder.build();
WriteSheet firstSheet = new WriteSheet();
firstSheet.setSheetName("first");
firstSheet.setHead(Collections.singletonList(Collections.singletonList("第一個Sheet的Head")));
// 寫入第一個命名為first的Sheet
excelWriter.write(Collections.singletonList(Collections.singletonList("第一個Sheet的數(shù)據(jù)")), firstSheet);
WriteSheet secondSheet = new WriteSheet();
secondSheet.setSheetName("second");
secondSheet.setHead(Collections.singletonList(Collections.singletonList("第二個Sheet的Head")));
// 寫入第二個命名為second的Sheet
excelWriter.write(Collections.singletonList(Collections.singletonList("第二個Sheet的數(shù)據(jù)")), secondSheet);
excelWriter.finish();
}
}效果如下：
分頁查詢和批量寫
在一些數(shù)據(jù)量比較大的場景下，可以考慮分頁查詢和批量寫，其實就是分頁查詢原始數(shù)據(jù) -> 數(shù)據(jù)聚合或者轉(zhuǎn)換 -> 寫目標(biāo)數(shù)據(jù) -> 下一頁查詢....。其實數(shù)據(jù)量少的情況下，一次性全量查詢和全量寫也只是分頁查詢和批量寫的一個特例，因此可以把查詢、轉(zhuǎn)換和寫操作抽象成一個可復(fù)用的模板方法：
int batchSize = 定義每篇查詢的條數(shù);
OutputStream outputStream = 定義寫到何處;
ExcelWriter writer = new ExcelWriterBuilder()
.autoCloseStream(true)
.file(outputStream)
.excelType(ExcelTypeEnum.XLSX)
.head(ExcelModel.class);
for (;;){
List list = originModelRepository.分頁查詢();
if (list.isEmpty()){
writer.finish();
break;
}else {
list 轉(zhuǎn)換-> List excelModelList;
writer.write(excelModelList);
}
}參看筆者前面寫過的一篇非標(biāo)題黨生產(chǎn)應(yīng)用文章《百萬級別數(shù)據(jù)Excel導(dǎo)出優(yōu)化》，適用于大數(shù)據(jù)量導(dǎo)出的場景，代碼如下：
Excel上傳與下載
下面的例子適用于Servlet容器，常見的如Tomcat，應(yīng)用于spring-boot-starter-web
Excel文件上傳跟普通文件上傳的操作差不多，然后使用EasyExcel的ExcelReader讀取請求對象MultipartHttpServletRequest中文件部分抽象的InputStream實例即可：
@PostMapping(path = "/upload")
public ResponseEntity upload(MultipartHttpServletRequest request) throws Exception {
Map fileMap = request.getFileMap();
for (Map.Entry part : fileMap.entrySet()) {
InputStream inputStream = part.getValue().getInputStream();
Map head = new HashMap();
List data = new LinkedList();
EasyExcel.read(inputStream).sheet()
.registerReadListener(new AnalysisEventListener() {
@Override
public void invokeHeadMap(Map headMap, AnalysisContext context) {
head.putAll(headMap);
}
@Override
public void invoke(Map row, AnalysisContext analysisContext) {
data.add(row);
}
@Override
public void doAfterAllAnalysed(AnalysisContext analysisContext) {
log.info("讀取文件[{}]成功,一共:{}行......", part.getKey(), data.size());
}
}).doRead();
// 其他業(yè)務(wù)邏輯
}
return ResponseEntity.ok("success");
}
使用Postman請求如下：
使用EasyExcel進行Excel文件導(dǎo)出也比較簡單，只需要把響應(yīng)對象HttpServletResponse中攜帶的OutputStream對象附著到EasyExcel的ExcelWriter實例即可：
@GetMapping(path = "/download")
public void download(HttpServletResponse response) throws Exception {
// 這里文件名如果涉及中文一定要使用URL編碼,否則會亂碼
String fileName = URLEncoder.encode("文件名.xlsx", StandardCharsets.UTF_8.toString());
// 封裝標(biāo)題行
List head = new ArrayList();
// 封裝數(shù)據(jù)
List data = new LinkedList();
response.setContentType("application/force-download");
response.setHeader("Content-Disposition", "attachment;filename=" + fileName);
EasyExcel.write(response.getOutputStream())
.head(head)
.autoCloseStream(true)
.excelType(ExcelTypeEnum.XLSX)
.sheet("Sheet名字")
.doWrite(data);
}這里需要注意一下：
- 文件名如果包含中文，需要進行
URL編碼，否則一定會亂碼。 - 無論導(dǎo)入或者導(dǎo)出，如果數(shù)據(jù)量大比較耗時，使用了
Nginx的話記得調(diào)整Nginx中的連接、讀寫超時時間的上限配置。 - 使用
SpringBoot需要調(diào)整spring.servlet.multipart.max-request-size和spring.servlet.multipart.max-file-size的配置值，避免上傳的文件過大出現(xiàn)異常。
小結(jié)
EasyExcel的API設(shè)計簡單易用，可以使用他快速開發(fā)有Excel數(shù)據(jù)導(dǎo)入或者導(dǎo)出的場景，真是廣大 Javaer 人的福音。
以上就是W3Cschool編程獅關(guān)于EasyExcel 阿里巴巴開源的Excel操作神器！的相關(guān)介紹了，希望對大家有所幫助。
