使用JPA和Hibernate进行批量处理的最佳方式
Tips
原文作者:Vlad Mihalcea
原文地址:The best way to do batch processing with JPA and Hibernate
在本文中,你将了解什么是批处理,为什么要使用它,以及如何在JPA和Hibernate中正确使用它。
批处理
在编写企业应用程序时,通常将工作分配在服务于典型OLTP(在线事务处理)传输的前端系统,和一个或多个批处理用于ETL(Extract,Transform,Load)操作。
批处理器,顾名思义,将要处理的数据分成几个块,因此具有以下优点:
- 每个块可以通过单独的工作线程进行处理,因此增加了吞吐量并减少了整个处理时间。
- 每个块都可以使用自己的数据库事务,所以如果有一个失败,就不用丢掉我们所做的所有工作,只是针对当前事务的变化。
JPA 批处理
当使用JPA时,假设要插入50个Post
实体,那么应该这样做:
int entityCount = 50;
int batchSize = 25;
EntityManager entityManager = null;
EntityTransaction transaction = null;
try {
entityManager = entityManagerFactory()
.createEntityManager();
transaction = entityManager.getTransaction();
transaction.begin();
for ( int i = 0; i < entityCount; ++i ) {
if ( i > 0 && i % batchSize == 0 ) {
entityManager.flush();
entityManager.clear();
transaction.commit();
transaction.begin();
}
Post post = new Post(
String.format( "Post %d", i + 1 )
);
entityManager.persist( post );
}
transaction.commit();
} catch (RuntimeException e) {
if ( transaction != null &&
transaction.isActive()) {
transaction.rollback();
}
throw e;
} finally {
if (entityManager != null) {
entityManager.close();
}
}
每个开始操作都会开启事务,因为每个实体状态转换必须在数据库事务的范围内执行。
for循环一次会持久化一个Post
实体。 但是,由于实体状态转换仅在执行flush
方法更新数据库时执行,因此我们可以将多个SQL 插入语句分组到到要给单一PreparedStatement
执行中,该执行需要多个参数。
每次迭代计数器(变量i)已达到batchSize
临界值的倍数,我们可以刷新EntityManager
并提交数据库事务。 通过在每次批处理执行后提交数据库事务,我们获得以下优点:
- 避免了长期运行的事务,这对MVCC关系数据库系统是不利的。
- 我们确保如果执行失败,不会丢失以前成功执行的批处理作业完成的工作。
EntityManager
在每次批量执行后被清除,这样就不会继续累积可能导致管理实体的几个问题:
- 如果要持久化的实体数量庞大,那么存在内存不足的风险。
- 在持久化上下文中累积的实体越多,flush越慢。 所以,最好的做法是确保持久性上下文尽可能的短小。
如果抛出异常,我们必须确保回滚当前正在运行的数据库事务。 否则可能会导致许多问题,因为数据库可能仍然认为事务处于打开状态,锁可能会被持有,直到事务超时或由DBA结束。
最后,我们需要关闭EntityManager
,以便可以清除上下文并释放Session
级的资源。
虽然这是使用JPA进行批处理的正确方法,但还没有完成。 如前所述,也可以从JDBC批量更新中受益。 为此,我们需要提供以下Hibernate配置属性:
<property
name="hibernate.jdbc.batch_size"
value="25"
/>
<property
name="hibernate.order_inserts"
value="true"
/>
<property
name="hibernate.order_updates"
value="true"
/>
这些属性允许我们将多个SQL语句批处理为单个PreparedStatement
执行,这需要单个数据库往返。 选择值25以匹配EntityManager
批处理作业的临界值。
执行以前的测试用例时,Hibernate生成2个SQL INSERT语句:
INSERT INTO post (title, id) values (?, ?)"],
Params:[
(Post 1, 1), (Post 2, 2), (Post 3, 3),
(Post 4, 4), (Post 5, 5), (Post 6, 6),
(Post 7, 7), (Post 8, 8), (Post 9, 9),
(Post 10, 10), (Post 11, 11), (Post 12, 12),
(Post 13, 13), (Post 14, 14), (Post 15, 15),
(Post 16, 16), (Post 17, 17), (Post 18, 18),
(Post 19, 19), (Post 20, 20), (Post 21, 21),
(Post 22, 22), (Post 23, 23), (Post 24, 24),
(Post 25, 25)
]
INSERT INTO post (title, id) values (?, ?)"],
Params:[
(Post 26, 26), (Post 27, 27), (Post 28, 28),
(Post 29, 29), (Post 30, 30), (Post 31, 31),
(Post 32, 32), (Post 33, 33), (Post 34, 34),
(Post 35, 35), (Post 36, 36), (Post 37, 37),
(Post 38, 38), (Post 39, 39), (Post 40, 40),
(Post 41, 41), (Post 42, 42), (Post 43, 43),
(Post 44, 44), (Post 45, 45), (Post 46, 46),
(Post 47, 47), (Post 48, 48), (Post 49, 49),
(Post 50, 50)
]
结论
了解如何正确设计批处理作业在开发企业应用程序时非常重要。 幸运的是,使用JPA和Hibernate,这个任务很容易实现。 最重要的方面是考虑到如何让关系数据库工作效果最好,这就是驱动数据访问设计决策的因素。
相关文章
- Linux下批量删除redis集群中的key
- 一个由正则表达式引发的血案 vs2017使用rdlc实现批量打印 vs2017使用rdlc [asp.net core 源码分析] 01 - Session SignalR sql for xml path用法 MemCahe C# 操作Excel图形——绘制、读取、隐藏、删除图形 IOC,DIP,DI,IoC容器
- .net 反射访问私有变量和私有方法 如何创建C# Closure ? C# 批量生成随机密码,必须包含数字和字母,并用加密算法加密 C#中的foreach和yield 数组为什么可以使用linq查询 C#中的 具名参数 和 可选参数 显示实现接口 异步CTP(Async CTP)为什么那样工作? C#多线程基础,适合新手了解 C#加快Bitmap的访问速度 C#实现对图片文件的压
- sql 批量修改,Update Select 嵌套更新或批量更新一句SQL语句搞定,
- PHP远程批量下载图片到本地
- Delphi中批量把双引号替换为单引号的方法
- linux下如何批量替换多个文件中的某个字符串?
- Mybatis Batch 批量操作
- Mybatis 批量Update失败,单条成功
- linux下批量替换文件内容
- JMeter学习-042-JMeter BeanShell 脚本应用实例之正则应用:正则提取,批量获取测试数据
- mongo批量删除js示例
- Hibernate批处理操作优化 (批量插入、更新与删除)
- 利用Excel批量高速发送电子邮件
- JGI Phytozome 批量下载的几种方法
- 一分钟快速把一篇论文后面的参考文献全部下载下来,根据参考文献快速下载对应的论文,根据参考文献批量下载论文,论文文献快速下载,一键下载论文参考文献