jdbc之批量插入

举报
yd_249383650 发表于 2023/03/18 22:35:51 2023/03/18
【摘要】 ​ 批量执行SQL语句当需要成批插入或者更新记录时,可以采用Java的批量更新机制,这一机制允许多条语句一次性提交给数据库批量处 理。通常情况下比单独提交处理更有效率JDBC的批量处理语句包括下面三个方法:addBatch(String):添加需要批量处理的SQL语句或是参数;executeBatch():执行批量处理语句;clearBatch():清空缓存的数据 通常我们会遇到两种批量执行...

 批量执行SQL语句

当需要成批插入或者更新记录时,可以采用Java的批量更新机制,这一机制允许多条语句一次性提交给数据库批量处 理。通常情况下比单独提交处理更有效率

JDBC的批量处理语句包括下面三个方法:

addBatch(String):添加需要批量处理的SQL语句或是参数;

executeBatch():执行批量处理语句;

clearBatch():清空缓存的数据

通常我们会遇到两种批量执行SQL语句的情况:

多条SQL语句的批量处理;

一个SQL语句的批量传参;

高效的批量插入

举例:向数据表中插入20000条数据

数据库中提供一个goods表。创建如下:

CREATE TABLE goods(
id INT PRIMARY KEY AUTO_INCREMENT,
NAME VARCHAR(20)
);

实现层次一:使用Statement  


Connection conn = JDBCUtils.getConnection();

Statement st = conn.createStatement();

for(int i = 1;i <= 20000;i++){
 String sql = "insert into goods(name) values('name_' + "+ i +")";
 st.executeUpdate(sql);
}

实现层次二:使用PreparedStatement  

long start = System.currentTimeMillis();
 

Connection conn = JDBCUtils.getConnection();
 

String sql = "insert into goods(name)values(?)";

PreparedStatement ps = conn.prepareStatement(sql);

for(int i = 1;i <= 20000;i++){
 ps.setString(1, "name_" + i);
 ps.executeUpdate();
}
 

long end = System.currentTimeMillis();

System.out.println("花费的时间为:" + (end - start));//82340

 
 

JDBCUtils.closeResource(conn, ps);

实现层次三 

/*

* 修改1: 使用 addBatch() / executeBatch() / clearBatch()

* 修改2:mysql服务器默认是关闭批处理的,我们需要通过一个参数,让mysql开启批处理的支持。

* ?rewriteBatchedStatements=true 写在配置文件的url后面

* 修改3:使用更新的mysql 驱动:mysql-connector-java-5.1.37-bin.jar

*

 */

@Test

public void testInsert1() throws Exception{
 long start = System.currentTimeMillis();
 
 Connection conn = JDBCUtils.getConnection();
 
 String sql = "insert into goods(name)values(?)";
 PreparedStatement ps = conn.prepareStatement(sql);
 
 for(int i = 1;i <= 1000000;i++){
 ps.setString(1, "name_" + i);
 
 //1.“攒”sql

 ps.addBatch();
 if(i % 500 == 0){
 //2.执行

 ps.executeBatch();
 //3.清空

 ps.clearBatch();
 }
 }
 
 long end = System.currentTimeMillis();
 System.out.println("花费的时间为:" + (end - start));//20000条:625                   
                                                      //1000000条:14733  

 
 JDBCUtils.closeResource(conn, ps);
}

 实现层次四

/*
* 层次四:在层次三的基础上操作

* 使用Connection 的 setAutoCommit(false) / commit()
*/

@Test

public void testInsert2() throws Exception{
 long start = System.currentTimeMillis();
 
 Connection conn = JDBCUtils.getConnection();
 
 //1.设置为不自动提交数据

 conn.setAutoCommit(false);
 
 String sql = "insert into goods(name)values(?)";
 PreparedStatement ps = conn.prepareStatement(sql);
 
 for(int i = 1;i <= 1000000;i++){
 ps.setString(1, "name_" + i);
 
 //1.“攒”sql

 ps.addBatch();
if(i % 500 == 0){
 //2.执行

 ps.executeBatch();
 //3.清空

 ps.clearBatch();
 }
 }
 
 //2.提交数据

 conn.commit();
 
 long end = System.currentTimeMillis();
 System.out.println("花费的时间为:" + (end - start));//1000000条:4978 

 
 JDBCUtils.closeResource(conn, ps);
}


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。