zl程序教程

您现在的位置是:首页 >  其他

当前栏目

Quartz任务调度(1)概念例析快速入门

概念入门 快速 quartz 任务调度
2023-09-14 08:57:15 时间
div >在现实开发中,我们常常会遇到需要系统在特定时刻完成特定任务的需求,在《spring学习笔记(14)引介增强详解:定时器实例:无侵入式动态增强类功能》,我们通过引介增强来简单地模拟实现了一个定时器。它可能只需要我们自己维护一条线程就足以实现定时监控。但在实际开发中,我们遇到的需求会复杂很多,可能涉及多点任务调度,需要我们多线程并发协作、线程池的维护、对运行时间规则进行更细粒度的规划、运行线程现场的保持与恢复等等。如果我们选择自己来造轮子,可能会遇到许多难题。这时候,引入Quartz任务调度框架会是一个很好的选择,它:
1. 允许我们灵活而细粒度地设置任务触发时间,比如常见的每隔多长时间,或每天特定时刻、特定日子(如节假日),都能灵活地配置这些成相应时间点来触发我们的任务
2. 提供了调度环境的持久化机制,可以将任务内容保存到数据库中,在完成后删除记录,这样就能避免因系统故障而任务尚未执行且不再执行的问题。
3. 提供了组件式的侦听器、各种插件、线程池等。通过侦听器,我们可以引入我们的事件机制,配合上异步调用,既能为我们的业务处理类解耦,同时还可能提升用户体验,关于事件机制的基本概念、解耦特性及其异步调用可移步参考我的另一篇文章《spring学习笔记(15)趣谈spring 事件:实现业务逻辑解耦,异步调用提升用户体验 》


生成最热文章,扒取新闻,论坛封闭维护都是我们的Job,它定义了我们的需要执行的任务,是一个抽象的接口. 如果我们要具体到每隔三十分钟生成最热文章,早晚12点扒取新闻等,在我们的具体任务执行时刻,我们就需要能够描述Job及其他相关静态信息的jobDetail,它相当于是我们的Job+具体实现细节 而Trigger则描述了Job执行的时间触发规则,比如每隔三十分钟、早晚12点等 而这里的Calendar可以看成是一些日历特定时间点的集合,比如我们这里遇到节假日则不维护,节假日如国庆节、愚人节等等,都是我们的日历特定时间点。 而Scheduler就是我们的任务日志表,它是一个容器,记载(容纳)了我们前面的工作、触发时间等内容。

通过实例,我们对quartz的核心类有了较清晰的功能定位,根据Quratz的不同版本,这几个核心类有较大改动,具体的操作不太相同,但是思路是相同的;比如1.+版本jar包中,JobDetail是个类,直接通过构造方法与Job类关联。SimpleTrigger和CornTrigger是类;在2.+jar包中,JobDetail是个接口,SimpleTrigger和CornTrigger是接口。下面详细地分析它们的具体用法:


Job是一个接口,只有一个void execute(JobExecutionContext jec)方法,JobExecutionContext提供了我们的任务调度上下文信息,比如,我们可以通过JobExecutionContext获取job相对应的JobDetail、Trigger等信息,我们在配置自己的内容时,需要实现此类,并在execute中重写我们的任务内容。下面是我们的扒取新闻工作实例:


public void execute(JobExecutionContext jec) throws JobExecutionException { SimpleDateFormat sdf = new SimpleDateFormat("HH:mm:ss"); System.out.println("在"+sdf.format(new Date())+"扒取新闻");

Quartz在每次执行任务时,都会创建一个Job实例,并为其配置上下文信息,jobDetail有一个成员属性JobDataMap,存放了我们Job运行时的具体信息,在后面我们会详细提到。
1. 在1.+版本中,它作为一个类,常用的构造方法有:JobDetail(String name, String group, Class jobClass),我们需要指定job的名称,组别和实现了Job接口的自定义任务类。实例如JobDetail jobDetail =new JobDetail("job1", "jgroup1", pickNewsJob.class);
2. 而在2.+版本中,我们则通过一下方法创建 JobBuilder.newJob(自定义任务类).withIdentity(任务名称,组名).build();实例如JobDetail jobDetail = JobBuilder.newJob(pickNewsJob.class).withIdentity(“job1”,”group1”).build();`


先讲Scheduler,方便后讲解Trigger时测试。
Scheduler作为我们的“任务记录表”,里面(可以)配置大量的Trigger和JobDetail,两者在 Scheduler中拥有各自的组及名称,组及名称是Scheduler查找定位容器中某一对象的依据,Trigger的组及名称必须唯一,JobDetail的组和名称也必须唯一(但可以和Trigger的组和名称相同,因为它们是不同类型的)。Scheduler可以将Trigger绑定到某一JobDetail中,这样当Trigger触发时,对应的Job就被执行。一个Job可以对应多个Trigger,但一个Trigger只能对应一个Job。可以通过SchedulerFactory创建一个Scheduler实例。下面是使用Schduler的实例:


SchedulerFactory schedulerFactory = new StdSchedulerFactory();

Scheduler scheduler = schedulerFactory.getScheduler();

//将jobDetail和Trigger注册到一个scheduler里,建立起两者的关联关系

scheduler.scheduleJob(jobDetail,Trigger);

scheduler.start();//开始任务调度

在一个scheduler被创建后,它处于”STAND-BY”模式,在触发任何job前需要使用它的start()方法来启动。同样的,如果我们想根据我们的业务逻辑来停止定时方案执行,可以使用scheduler.standby()方法


如果嵌入事件机制只触发一次,或意图使Job以固定时间间隔触发,则使用SimpleTrigger较合适,它有多个构造函数,其中一个最复杂的构造函数为:
SimpleTrigger(String name, String group, String jobName, String jobGroup, Date startTime, Date
endTime, int repeatCount, long repeatInterval)参数依次为触发器名称、触发器所在组名、工作名、工作所在组名、开始日期、结束日期、重复次数、重复间隔。
1. 如果我们不需同时设置这么多属性,可调用其他只有部分参数的构造方法,其他参数也可以通过set方法动态设置。
2. 这里需要注意的是,如果到了我们设置的endTime,即时重复次数repeatCount还没有达到我们预设置的次数。任务也不会再此执行。
下面是1.+版本的创建实例


//创建一个触发器,使任务从现在开始、每隔两秒执行一次,共执行10次

SimpleTrigger simpleTrigger = new SimpleTrigger("triiger1");//至少需要设置名字以标识当前触发器,否则在调用时会报错

simpleTrigger.setStartTime(new Date());

simpleTrigger.setRepeatInterval(2000);

simpleTrigger.setRepeatCount(10);

下面是2.+版本的创建实例


.withIdentity("trigger1")//配置触发器名称 .withSchedule(SimpleScheduleBuilder.repeatSecondlyForTotalCount(10, 2))//配置重复次数和间隔时间 .startNow()//设置从当前开始 .build();//创建操作

通过TriggerBuilder,我们可以通过方法方便地配置触发器的各种参数。


// ②四一愚人节 Calendar foolDay = new GregorianCalendar(); //这里的Calendar是 java.util.Calendar。根据当前时间所在的默认时区创建一个“日子” foolDay.add(Calendar.MONTH, 4); foolDay.add(Calendar.DATE, 1); // ③国庆节 Calendar nationalDay = new GregorianCalendar(); nationalDay.add(Calendar.MONTH, 10); nationalDay.add(Calendar.DATE, 1); //第二步:创建AnnualCalendar,它的作用是排除排除每一年中指定的一天或多天 AnnualCalendar holidays = new AnnualCalendar(); //设置排除日期有两种方法 // 第一种:排除的日期,如果设置为false则为包含(included) holidays.setDayExcluded(foolDay, true); holidays.setDayExcluded(nationalDay, true); //第二种,创建一个数组。 ArrayList Calendar calendars = new ArrayList Calendar calendars.add(foolDay); calendars.add(nationalDay); holidays.setDaysExcluded(calendars); //第三步:将holidays添加进我们的触发器 simpleTrigger.setCalendarName("holidays"); //第四步:设置好然后需要在我们的scheduler中注册 scheduler.addCalendar("holidays",holidays, false,false);,注意这里的第一个参数为calendarName,需要和触发器中添加的Calendar名字像对应。

在这里,除了可以使用AnnualCalendar外,还有CronCalendar(表达式),DailyCalendar(指定的时间范围内的每一天),HolidayCalendar(排除节假日),MonthlyCalendar(排除月份中的数天),WeeklyCalendar(排除星期中的一天或多天)

至此,我们的核心类基本讲解完毕,下面附上我们的完整测试代码:


/*********************1.+版本*********************/

public class pickNewsJob implements Job {

 @Override

 public void execute(JobExecutionContext jec) throws JobExecutionException {

 SimpleDateFormat sdf = new SimpleDateFormat("HH:mm:ss");

 System.out.println("在" + sdf.format(new Date()) + "扒取新闻");

 public static void main(String args[]) throws SchedulerException {

 JobDetail jobDetail =new JobDetail("job1", "jgroup1", pickNewsJob.class); 

 SimpleTrigger simpleTrigger = new SimpleTrigger("triiger1");

 simpleTrigger.setStartTime(new Date());

 simpleTrigger.setRepeatInterval(2000);

 simpleTrigger.setRepeatCount(10);

 simpleTrigger.setCalendarName("holidays");

 //设置需排除的特殊假日

 AnnualCalendar holidays = new AnnualCalendar();

 // 四一愚人节

 Calendar foolDay = new GregorianCalendar(); // 这里的Calendar是 ava.util.Calendar。根据当前时间所在的默认时区创建一个“日子”

 foolDay.add(Calendar.MONTH, 4);

 foolDay.add(Calendar.DATE, 1);

 // 国庆节

 Calendar nationalDay = new GregorianCalendar();

 nationalDay.add(Calendar.MONTH, 10);

 nationalDay.add(Calendar.DATE, 1);

 //排除的日期,如果设置为false则为包含(included)

 holidays.setDayExcluded(foolDay, true);

 holidays.setDayExcluded(nationalDay, true);

 /*方法2:通过数组设置

 ArrayList Calendar calendars = new ArrayList Calendar 

 calendars.add(foolDay);

 calendars.add(nationalDay);

 holidays.setDaysExcluded(calendars);*/

 //创建scheduler

 SchedulerFactory schedulerFactory = new StdSchedulerFactory();

 Scheduler scheduler = schedulerFactory.getScheduler();

 scheduler.addCalendar("holidays", holidays, false, false);

 scheduler.scheduleJob(jobDetail, simpleTrigger);

 scheduler.start();

/*******************2.+版本***************/

public class pickNewsJob implements Job {

 @Override

 public void execute(JobExecutionContext jec) throws JobExecutionException {

 SimpleDateFormat sdf = new SimpleDateFormat("HH:mm:ss");

 System.out.println("在"+sdf.format(new Date())+"扒取新闻");

 public static void main(String args[]) throws SchedulerException {

 JobDetail jobDetail = JobBuilder.newJob(pickNewsJob.class)

 .withIdentity("job1", "group1").build();

 SimpleTrigger simpleTrigger = TriggerBuilder

 .newTrigger()

 .withIdentity("trigger1")

 .withSchedule(SimpleScheduleBuilder.repeatSecondlyForTotalCount(10, 2))

 .startNow()

 .build();

 //设置需排除的特殊假日

 AnnualCalendar holidays = new AnnualCalendar();

 // 四一愚人节

 Calendar foolDay = new GregorianCalendar(); // 这里的Calendar是 ava.util.Calendar。根据当前时间所在的默认时区创建一个“日子”

 foolDay.add(Calendar.MONTH, 4);

 foolDay.add(Calendar.DATE, 1);

 // 国庆节

 Calendar nationalDay = new GregorianCalendar();

 nationalDay.add(Calendar.MONTH, 10);

 nationalDay.add(Calendar.DATE, 1);

 //排除的日期,如果设置为false则为包含(included)

 holidays.setDayExcluded(foolDay, true);

 holidays.setDayExcluded(nationalDay, true);

 /*方法2:通过数组设置

 ArrayList Calendar calendars = new ArrayList Calendar 

 calendars.add(foolDay);

 calendars.add(nationalDay);

 holidays.setDaysExcluded(calendars);*/

 //创建scheduler

 SchedulerFactory schedulerFactory = new StdSchedulerFactory();

 Scheduler scheduler = schedulerFactory.getScheduler();

 scheduler.addCalendar("holidays", holidays, false, false);

 scheduler.scheduleJob(jobDetail, simpleTrigger);

 scheduler.start();

}

可见,两个不同版本的主要区别在于JobDetail和Triiger的配置。

此外,除了使用scheduler.scheduleJob(jobDetail, simpleTrigger)来建立jobDetail和simpleTrigger的关联外,在1.+版本中的配置还可以采用如下所示方式


simpleTrigger.setJobName("job1");//jobName和我们前面jobDetail的的名字一致

simpleTrigger.setJobGroup("jgroup1");//jobGroup和我们之前jobDetail的组名一致

scheduler.addJob(jobDetail, true);//注册jobDetail,此时jobDetail必须已指定job名和组名,否则会抛异常Triggers related Jobs name cannot be null

scheduler.scheduleJob(simpleTrigger);//注册triiger必须在注册jobDetail之后,否则会抛异常Triggers related Jobs name cannot be null

这里还需要注意的是,如果我们使用scheduler.addCalendar("holidays", holidays, false, false)必须在向scheduler注册trigger之前scheduler.scheduleJob(simpleTrigger),否则会抛异常:Calendar not found: holidays

而在2.+版本中,我尝试在创建triiger时用forJob(“job1”, “jgroup1”)来绑定job名和组名


.forJob("job1", "jgroup1")//在这里绑定 .withSchedule(SimpleScheduleBuilder.repeatSecondlyForTotalCount(10, 2)) .startNow() .build();

//后面是一样的
scheduler.addJob(jobDetail, true);
scheduler.scheduleJob(simpleTrigger);

在运行时,却会抛出异常: Jobs added with no trigger must be durable.
显然是绑定失败了,目前暂未找到解决方法,如果有找到解决方法的朋友,恳请告诉我一下,十分感谢!


分布式任务调度框架ApiBoot Quartz内的两种任务存储方式 `Quartz`是一款比较优秀的分布式任务调度框架,`ApiBoot`对其封装之前就有两种任务存储方式,分别是:`memory`(内存方式)、`jdbc`(数据库方式),不过我们需要编写一些繁琐的代码配置,`ApiBoot`实现了集成后,可快速应用到项目中,而且还提供了 [ApiBootQuartzService](https://gitee.com/minbox-projects/api-boot/blob/master/api-boot-project/api-boot-plugins/api-boot-plugin-quartz/src/main/java/org/minbox/fram
使用 K8s 进行作业调度实战分享 最近在公司的数据同步项目(以下简称 ZDTP)中,需要使用到分布式调度数据同步执行单元,目前使用的方案是将数据同步执行单元打包成镜像,使用 K8s 进行调度。
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载