Spring整合Quartz分散式調度

前言

為了保證應用的高可用和高並發性,一般都會部署多個節點;對於定時任務,如果每個節點都執行自己的定時任務,一方面耗費了系統資源,另一方面有些任務多次執行,可能引發應用邏輯問題,所以需要一個分散式的調度系統,來協調每個節點執行定時任務。

Spring整合Quartz

Quartz是一個成熟的任務調度系統,Spring對Quartz做了兼容,方便開發,下面看看具體如何整合:

1.Maven依賴文件

<dependencies> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-core</artifactId> <version>4.3.5.RELEASE</version> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-context-support</artifactId> <version>4.3.5.RELEASE</version> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-tx</artifactId> <version>4.3.5.RELEASE</version> </dependency> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-jdbc</artifactId> <version>4.3.5.RELEASE</version> </dependency> <dependency> <groupId>org.quartz-scheduler</groupId> <artifactId>quartz</artifactId> <version>2.2.3</version> </dependency> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.29</version> </dependency> </dependencies>

主要就是Spring相關庫、quartz庫以及mysql驅動庫,註:分散式調度需要用到資料庫,這裡選用mysql;

2.配置job

提供了兩種方式來配置job,分別是:MethodInvokingJobDetailFactoryBean和JobDetailFactoryBean

2.1MethodInvokingJobDetailFactoryBean

要調用特定bean的一個方法的時候使用,具體配置如下:

<bean id="firstTask" class="org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean"> <property name="targetObject" ref="firstService" /> <property name="targetMethod" value="service" /> </bea>

2.2JobDetailFactoryBean

這種方式更加靈活,可以設置傳遞參數,具體如下:

<bean id="firstTask" class="org.springframework.scheduling.quartz.JobDetailFactoryBean"> <property name="jobClass" value="zh.maven.SQuartz.task.FirstTask" /> <property name="jobDataMap"> <map> <entry key="firstService" value-ref="firstService" /> </map> </property></bean>

jobClass定義的任務類,繼承QuartzJobBean,實現executeInternal方法;jobDataMap用來給job傳遞數據;

3.配置調度使用的觸發器

同樣提供了兩種觸發器類型:SimpleTriggerFactoryBean和CronTriggerFactoryBean

重點看CronTriggerFactoryBean,這種類型更加靈活,具體如下:

<bean id="firstCronTrigger" class="org.springframework.scheduling.quartz.CronTriggerFactoryBean"> <property name="jobDetail" ref="firstTask" /> <property name="cronExpression" value="0/5 * * ? * *" /></bean>

jobDetail指定的就是在步驟2中配置的job,cronExpression配置了每5秒執行一次job;

4.配置Quartz調度器的SchedulerFactoryBean

同樣提供了兩種方式:內存RAMJobStore和資料庫方式

4.1內存RAMJobStore

job的相關信息存儲在內存里,每個節點存儲各自的,互相隔離,配置如下:

<bean class="org.springframework.scheduling.quartz.SchedulerFactoryBean"> <property name="triggers"> <list> <ref bean="firstCronTrigger" /> </list> </property></bean>

4.2資料庫方式

job的相關信息存儲在資料庫中,所有節點共用資料庫,每個節點通過資料庫來通信,保證一個job同一時間只會在一個節點上執行,並且

如果某個節點掛掉,job會被分配到其他節點執行,具體配置如下:

<bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource" destroy-method="close"> <property name="driverClass" value="com.mysql.jdbc.Driver" /> <property name="jdbcUrl" value="jdbc:mysql://localhost:3306/quartz" /> <property name="user" value="root" /> <property name="password" value="root" /> </bean> <bean class="org.springframework.scheduling.quartz.SchedulerFactoryBean"> <property name="dataSource" ref="dataSource" /> <property name="configLocation" value="classpath:quartz.properties" /> <property name="triggers"> <list> <ref bean="firstCronTrigger" /> </list> </property> </bean>

dataSource用來配置數據源,數據表相關信息,可以到官網下載gz包,sql文件在路徑:docsdbTables下,裡面提供了主流資料庫的sql文件,總共11張表;

configLocation配置的quartz.properties文件在quartz.jar的org.quartz包下,裡面提供了一些默認的數據,比如org.quartz.jobStore.class

org.quartz.jobStore.class: org.quartz.simpl.RAMJobStore

這裡需要將quartz.properties拷貝出來做一些修改,具體修改如下:

org.quartz.scheduler.instanceId: AUTOorg.quartz.jobStore.class: org.quartz.impl.jdbcjobstore.JobStoreTXorg.quartz.jobStore.isClustered: trueorg.quartz.jobStore.clusterCheckinInterval: 1000

5.相關類

public class FirstTask extends QuartzJobBean { private FirstService firstService; @Override protected void executeInternal(JobExecutionContext context) throws JobExecutionException { firstService.service(); } public void setFirstService(FirstService firstService) { this.firstService = firstService; }}

FirstTask繼承QuartzJobBean,實現executeInternal方法,調用FirstService;

public class FirstService implements Serializable { private static final long serialVersionUID = 1L; public void service() { System.out.println(new SimpleDateFormat("YYYYMMdd HH:mm:ss").format(new Date()) + "---start FirstService"); try { Thread.sleep(2000); } catch (InterruptedException e) { e.printStackTrace(); } System.out.println(new SimpleDateFormat("YYYYMMdd HH:mm:ss").format(new Date()) + "---end FirstService"); }}

FirstService需要提供序列化介面,因為需要保存在資料庫中;

public class App { public static void main(String[] args) { AbstractApplicationContext context = new ClassPathXmlApplicationContext("quartz.xml"); }}

主類用來載入quartz配置文件;

測試分散式調度

1.同時啟動App兩次,觀察日誌:

20180405 14:48:10---start FirstService20180405 14:48:12---end FirstService20180405 14:48:15---start FirstService20180405 14:48:17---end FirstService

其中A1有日誌輸出,A2沒有;當停掉A1以後,A2有日誌輸出;

2.添加新的job分別新建:SecondTask和SecondService,同時添加相關配置文件,啟動App觀察日誌:

A1日誌如下:

20180405 15:03:15---start FirstService20180405 15:03:15---start SecondService20180405 15:03:17---end FirstService20180405 15:03:17---end SecondService20180405 15:03:20---start FirstService20180405 15:03:22---end FirstService20180405 15:03:25---start FirstService20180405 15:03:27---end FirstService

A2日誌如下:

20180405 15:03:20---start SecondService20180405 15:03:22---end SecondService20180405 15:03:25---start SecondService20180405 15:03:27---end SecondService

可以發現A1和A2都有執行任務,但是同一任務同一時間只會在一個節點執行,並且只有在執行結束後才有可能分配到其他節點;

3.如果間隔時間小於任務執行時間,比如這裡改成sleep(6000)

A1日誌如下:

20180405 15:14:40---start FirstService20180405 15:14:45---start FirstService20180405 15:14:46---end FirstService20180405 15:14:50---start FirstService20180405 15:14:50---start SecondService20180405 15:14:51---end FirstService

A2日誌如下:

20180405 15:14:40---start SecondService20180405 15:14:45---start SecondService20180405 15:14:46---end SecondService20180405 15:14:51---end SecondService

間隔時間是5秒,而任務執行需要6秒,觀察日誌可以發現,任務還沒有結束,新的任務已經開始,這種情況可能引發應用的邏輯問題,其實就是任務能不能支持串列的問題;

4.@DisallowConcurrentExecution註解保證任務的串列

在FirstTask和SecondTask上分別添加@DisallowConcurrentExecution註解,日誌結果如下:

A1日誌如下:

20180405 15:32:45---start FirstService20180405 15:32:51---end FirstService20180405 15:32:51---start FirstService20180405 15:32:51---start SecondService20180405 15:32:57---end FirstService20180405 15:32:57---end SecondService20180405 15:32:57---start FirstService20180405 15:32:57---start SecondService

A2日誌如下:

20180405 15:32:45---start SecondService20180405 15:32:51---end SecondService

觀察日誌可以發現,任務只有在end以後,才會開始新的任務,實現了任務的串列化;

總結

本文旨在對Spring+Quartz分散式調度有一個直觀的了解,通過實際的使用來解決問題,當然可能還有很多疑問比如它是如何調度的,資料庫如果掛了會怎麼樣等等,還需要做更加深入的了解。

文章來源:my.oschina.net/OutOfMem

相關內容推薦:roncoo.com/course/list.


推薦閱讀:

Redis常見的應用場景解析
遲來的HTTP2簡明教程
cort_proto v0.9.0 第一版發布

TAG:Spring | 分散式事務 | 高並發 |