xxl-job分佈式任務調度平臺 v2.4.0

源碼屬性

源碼簡介

XXL-JOB是一個輕量級分佈式任務調度平臺，其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。現已開放源代碼並接入多家公司線上產品線，開箱即用。

XXL-JOB特點：

1、簡單：支持通過Web頁面對任務進行CRUD操作，操作簡單，一分鐘上手；2、動態：支持動態修改任務狀態、啓動/停止任務，以及終止運行中任務，即時生效；3、調度中心HA（中心式）：調度採用中心式設計，“調度中心”自研調度組件並支持集羣部署，可保證調度中心HA；4、執行器HA（分佈式）：任務分佈式執行，任務\”執行器\”支持集羣部署，可保證任務執行HA；5、註冊中心: 執行器會週期性自動註冊任務, 調度中心將會自動發現註冊的任務並觸發執行。同時，也支持手動錄入執行器地址；6、彈性擴容縮容：一旦有新執行器機器上線或者下線，下次調度時將會重新分配任務；7、路由策略：執行器集羣部署時提供豐富的路由策略，包括：第一個、最後一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等；8、故障轉移：任務路由策略選擇\”故障轉移\”情況下，如果執行器集羣中某一臺機器故障，將會自動Failover切換到一臺正常的執行器發送調度請求。9、阻塞處理策略：調度過於密集執行器來不及處理時的處理策略，策略包括：單機串行（默認）、丟棄後續調度、覆蓋之前調度；10、任務超時控制：支持自定義任務超時時間，任務運行超時將會主動中斷任務；11、任務失敗重試：支持自定義任務失敗重試次數，當任務失敗時將會按照預設的失敗重試次數主動進行重試；其中分片任務支持分片粒度的失敗重試；12、任務失敗告警；默認提供郵件方式失敗告警，同時預留擴展接口，可方便的擴展短信、釘釘等告警方式；13、分片廣播任務：執行器集羣部署時，任務路由策略選擇\”分片廣播\”情況下，一次任務調度將會廣播觸發集羣中所有執行器執行一次任務，可根據分片參數開發分片任務；14、動態分片：分片廣播任務以執行器爲維度進行分片，支持動態擴容執行器集羣從而動態增加分片數量，協同進行業務處理；在進行大數據量業務操作時可顯著提升任務處理能力和速度。15、事件觸發：除了\”Cron方式\”和\”任務依賴方式\”觸發任務執行之外，支持基於事件的觸發任務方式。調度中心提供觸發任務單次執行的API服務，可根據業務事件靈活觸發。16、任務進度監控：支持實時監控任務進度；17、Rolling實時日誌：支持在線查看調度結果，並且支持以Rolling方式實時查看執行器輸出的完整的執行日誌；18、GLUE：提供Web IDE，支持在線開發任務邏輯代碼，動態發佈，實時編譯生效，省略部署上線的過程。支持30個版本的歷史版本回溯。19、腳本任務：支持以GLUE模式開發和運行腳本任務，包括Shell、Python、NodeJS、PHP、PowerShell等類型腳本;20、命令行任務：原生提供通用命令行任務Handler（Bean任務，\”CommandJobHandler\”）；業務方只需要提供命令行即可；21、任務依賴：支持配置子任務依賴，當父任務執行結束且執行成功後將會主動觸發一次子任務的執行, 多個子任務用逗號分隔；22、一致性：“調度中心”通過DB鎖保證集羣分佈式調度的一致性, 一次任務調度只會觸發一次執行；23、自定義任務參數：支持在線配置調度任務入參，即時生效；24、調度線程池：調度系統多線程觸發調度運行，確保調度精確執行，不被堵塞；25、數據加密：調度中心和執行器之間的通訊進行數據加密，提升調度信息安全性；26、郵件報警：任務失敗時支持郵件報警，支持配置多郵件地址羣發報警郵件；27、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用戶接入和使用;28、運行報表：支持實時查看運行數據，如任務數量、調度次數、執行器數量等；以及調度報表，如調度日期分佈圖，調度成功分佈圖等；29、全異步：任務調度流程全異步化設計實現，如異步調度、異步運行、異步回調等，有效對密集調度進行流量削峯，理論上支持任意時長任務的運行；30、跨語言：調度中心與執行器提供語言無關的 RESTful API 服務，第三方任意語言可據此對接調度中心或者實現執行器。除此之外，還提供了 “多任務模式”和“httpJobHandler”等其他跨語言方案；31、國際化：調度中心支持國際化設置，提供中文、英文兩種可選語言，默認爲中文；32、容器化：提供官方docker鏡像，並實時更新推送dockerhub，進一步實現產品開箱即用；33、線程池隔離：調度線程池進行隔離拆分，慢任務自動降級進入\”Slow\”線程池，避免耗盡調度線程，提高系統穩定性；34、用戶管理：支持在線管理系統用戶，存在管理員、普通用戶兩種角色；35、權限控制：執行器維度進行權限控制，管理員擁有全量權限，普通用戶需要分配執行器權限後才允許相關操作； 

xxl-job分佈式任務調度平臺 更新日誌：

v2.3.1

1、【修復】修復風險漏洞，升級問題低版本項目依賴：CVE-2021-2471、CVE-2022-22965等。
2、【修復】修復故障告警邏輯，郵箱校驗邏輯下放至EmailJobAlarm中，避免對其他告警方式的干擾。
3、【優化】調度通訊默認啓用accessToken，提升系統安全性（建議生產環境自定義accessToken）。
4、【優化】合併多項PR，項目代碼結構、健壯性優化：PR-2833、PR-2812、PR-2541、PR-2537、PR-2514、PR-2509、PR-2591。
5、【優化】任務線程名優化，提升可讀性與問題定位效率(ISSUE-2527)。

v2.3.0

1、【新增】調度過期策略：調度中心錯過調度時間的補償處理策略，包括：忽略、立即補償觸發一次等；2、【新增】觸發策略：除了常規Cron、API、父子任務觸發方式外，新增提供 \”固定間隔觸發、（固定延時觸發，實驗中）\” 新觸發方式；3、【新增】新增任務輔助工具 \”XxlJobHelper\”：提供統一任務輔助能力，包括：任務上下文信息維護獲取（任務參數、任務ID、分片參數）、日誌輸出、任務結果設置……等；3.1、\”ShardingUtil\” 組件廢棄：改用 \”XxlJobHelper.getShardIndex()/getShardTotal();\” 獲取分片參數；3.2、\”XxlJobLogger\” 組件廢棄：改用 \”XxlJobHelper.log\” 進行日誌輸出；4、【優化】任務核心類 \”IJobHandler\” 的 \”execute\” 方法取消出入參設計。改爲通過 \”XxlJobHelper.getJobParam\” 獲取任務參數並替代方法入參，通過 \”XxlJobHelper.handleSuccess/handleFail\” 設置任務結果並替代方法出參，示例代碼如下；@XxlJob(\”demoJobHandler\”)public void execute() {  String param = XxlJobHelper.getJobParam();    // 獲取參數  XxlJobHelper.handleSuccess();                 // 設置任務結果}5、【優化】Cron編輯器增強：Cron編輯器修改cron時可實時查看最近運行時間;6、【優化】執行器示例項目規範整理；7、【優化】任務調度生命週期重構：調度（schedule）、觸發(trigger)、執行（handle）、回調(callback)、結束（complete）；8、【優化】執行器註冊組件優化：註冊邏輯調整爲異步方式，提高註冊性能；9、【優化】執行器鑑權校驗：執行器啓動時主動校驗accessToken，爲空則主動Warn告警；（已規劃安全強化：AccessToken動態生成、動態啓停等）10、【優化】郵箱告警配置優化：將\”spring.mail.from\”與\”spring.mail.username\”屬性拆分開，更加靈活的支持一些無密碼郵箱服務；11、【優化】多個項目依賴升級至較新穩定版本，如netty、groovy、spring、springboot、mybatis等；12、【優化】UI組件常規升級，提升組件穩定性；13、【優化】調度中心頁面交互優化：用戶管理模塊密碼列取消；多處表達autocomplete取消；執行器管理模塊XSS攔截校驗等；14、【優化】調度中心任務狀態探測慢SQL問題優化；15、【修復】GLUE-Java模式任務，init/destroy無法執行問題修復；16、【修復】Cron編輯器問題修復：修復小概率情況下cron單個字段修改時導致其他字段被重置問題；17、【修復】通用HTTP任務Handler（httpJobHandler）優化：修復 \”setDoOutput(true)\” 導致任務請求GetMethod失效問題；18、【修復】執行器Commandhandler示例任務優化，修復極端情況下腳本進程掛起問題；19、【修復】調度通訊組件優化，修復RestFul方式調用 DotNet 版本執行器時心跳檢測失敗問題；20、【修復】調度中心遠程執行日誌查詢亂碼問題修復；21、【修復】調度中心組件加載順序優化，修復極端情況下調度組件初始慢導致的調度失敗問題；22、【修復】執行器註冊線程優化，修復極端情況下初始化失敗時導致NPE問題；23、【修復】調度線程連接池優化，修復連接有效性校驗超時問題；24、【修復】執行器註冊表字段優化，解決執行器註冊節點過多導致註冊信息存儲和更新失敗的問題；25、【修復】輪訓路由策略優化，修復小概率下併發問題；26、【修復】頁面redirect跳轉後https變爲http問題修復；27、【修復】執行器日誌清理優化，修復小概率下日誌文件爲空導致清理異常問題；