
- 培训对象:大数据平台工程师、ETL开发人员、数据运维人员、需要可视化操作与多租户管理的调度平台用户。
- 培训目标:
- 掌握DolphinScheduler的架构设计与核心功能,能够独立完成平台的部署与配置。
- 熟练使用可视化界面创建工作流,配置任务依赖与定时调度。
- 掌握多租户管理、资源隔离与监控告警,满足企业级数据平台运维需求。
- 培训内容介绍:
- DolphinScheduler概览:了解其作为Apache顶级项目的优势,熟悉Master/Worker架构设计。
- 环境部署:下载安装DolphinScheduler,配置数据库与ZooKeeper,启动集群服务。
- 界面导航与项目管理:登录Web控制台,熟悉界面布局,创建项目管理租户资源。
- 工作流定义创建:使用拖拽方式创建工作流,添加Shell、SQL、Spark等任务节点。
- 任务依赖配置:在工作流画布中连线设置任务依赖关系,配置任务间的执行顺序。
- 定时调度设置:为工作流配置Cron表达式,实现每日、每周等周期性调度。
- 数据源管理:配置MySQL、Hive等数据源连接,在SQL任务中直接使用。
- 资源中心与UDF:上传Jar包、文件等资源,管理自定义函数供SQL任务调用。
- 多租户与权限:创建租户与用户,为项目和工作流配置访问权限,实现资源隔离。
- 任务实例监控:查看工作流实例的执行状态,进行失败重跑、暂停、恢复等操作。
- 告警机制配置:配置邮件、钉钉、企业微信等告警插件,设置任务失败告警。
- 生产环境实战:以一个完整ETL流程为例,完成从数据抽取、清洗到加载的全流程调度。














