导入导出

12/31/2023 Java

目录


参考:

  • 链接1:

# 导入导出

百万数据的导入导出解决方案 (opens new window)

//300W数据的导入解决思路

1、首先是分批读取读取Excel中的300w数据,这一点EasyExcel有自己的解决方案,我们可以参考Demo即可,只需要把它分批的参数3000调大即可。我是用的20w;(一会儿代码一看就能明白) 2、其次就是往DB里插入,怎么去插入这20w条数据,当然不能一条一条的循环,应该批量插入这20w条数据,同样也不能使用Mybatis的批量插入语,因为效率也低。可以参考下面链接【Myabtis批量插入和JDBC批量插入性能对比】 3、使用JDBC+事务的批量操作将数据插入到数据库。(分批读取+JDBC分批插入+手动事务控制)

使用 EasyExcel 实现 百万级数据导入导出 (opens new window)

500W数据的导入解决思路

1、首先是分批读取读取Excel中的500w数据,这一点EasyExcel有自己的解决方案,我们可以参考Demo即可,只需要把它分批的参数5000调大即可。 2、其次就是往DB里插入,怎么去插入这20w条数据,当然不能一条一条的循环,应该批量插入这20w条数据,同样也不能使用Mybatis的批量插入语,因为效率也低。 3、使用JDBC+事务的批量操作将数据插入到数据库。(分批读取+JDBC分批插入+手动事务控制)

EasyExcel实现百万级数据的导入导出 (opens new window)

SpringBoot 实现 Excel 导入导出,百万数据量,性能爆表! (opens new window)

Spring Boot通过EasyExcel异步多线程实现大数据量Excel导入,百万数据30秒 (opens new window)

阿里巴巴 easyexcel 导入导出 (opens new window)

上次更新时间: 9/25/2024, 9:17:45 AM