DolphinScheduler适配崖山Python驱动

概述

本文主要介绍DolphinScheduler调度器适配崖山Python驱动，支持在DolphinScheduler上通过python任务访问崖山数据库。

环境

DolphinScheduler版本：3.1.9

Python版本：3.9

YashanDB版本：23.2.2.100

YashanDB Python驱动版本：yaspy-1.0.0-cp39-cp39-linux_x86_64

操作步骤

安装YashanDB客户端

Step1：根据YashanDB软件包清单获取对应的软件包，以yashandb-client-23.2-linux-x86_64.tar.gz为例。

Step2：将yashandb-client-23.2-linux-x86_64.tar.gz上传至本地路径（以/home/yasdb/yashandb_client为例），并解压。

$ cd /home/yasdb/yashandb_client

$ tar -zxf yashandb-client-23.2-linux-x86_64.tar.gz

查看解压后内容。

$ ll

drwxrwxr-x. 2 yasdb yasdb 19 Feb 8 00:01 bin

drwxrwxr-x. 2 yasdb yasdb 21 Feb 8 00:01 include

drwxrwxr-x. 2 yasdb yasdb 4096 Feb 8 00:01 lib

Step3：在~/.bashrc中配置PATH和LD_LIBRARY_PATH。

$ vi ~/.bashrc

export PATH=$PATH:/home/yasdb/yashandb_client/bin

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/yasdb/yashandb_client/lib

Step4：生效环境变量。

$ source ~/.bashrc

安装YashanDB Python驱动

pip3 install yaspy-1.0.0-cp36-cp36m-linux_x86_64.whl

设置DolphinScheduler环境变量

vi apache-dolphinscheduler-3.1.9-bin/bin/env/dolphinscheduler_env.sh

修改环境变量：

export PATH=$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:$SEATUNNEL_HOME/bin:$CHUNJUN_HOME/bin:/home/yasdb/yashandb_client/bin:$PATH

新增环境变量：

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/yasdb/yashandb_client/lib

修改完保存退出即可。