从零开始的大数据之路(7)-半小时搞定 DataxWeb 集成 Datax 数据可视化集成平台(单节点executor & 多节点executor) _datax创建多个executor
目录
一、安装条件
二、单节点DataxWeb的安装部署
1、上传安装包并分发安装包
2、解压安装包
3、将解压文件进行更名
4、安装dataxweb admin 及exexcutor
5、创建dataxweb的数据库
6、将dataxweb表结构元数据初始化到数据库中
7、配置datax的executor执行器python脚本位置
填写自己datax安装位置bin目录下的datax.py
8、单节点的dataxweb启动
9、进入web管理界面
10 结语
一、安装条件
安装包:
从零开始的大数据之路 (0)安装包合集 [持续更新分享]-CSDN博客
mysql数据: 用于管理dataxweb的元数据
mysql教程:从零开始的大数据之路(3) - 三十分钟学会 单节点mysql&mysql主从搭建 (保姆级无坑教程)-CSDN博客
datax:用来抽取数据
datax教程:从零开始的大数据之路(6)- 三分钟安装部署好Datax-CSDN博客
二、单节点DataxWeb的安装部署
1、上传安装包并分发安装包
scp datax-web-2.1.2.tar.gz root@slave1:$PWDscp datax-web-2.1.2.tar.gz root@slave2:$PWD
上传
分发
2、解压安装包
tar -zxvf datax-web-2.1.2.tar.gz -C /home/softwares/
3、将解压文件进行更名
# 进入安装目录cd /home/softwares # 更名mv datax-web-2.1.2/ datax-web
4、安装dataxweb admin 及exexcutor
cd /home/softwares/datax-web/bin./install.sh
输入y
初始化数据库信息
安装成功后会在datax-web下生成一个modules目录
5、创建dataxweb的数据库
CREATE DATABASE dataxwebCHARACTER SET utf8mb4COLLATE utf8mb4_general_ci;
6、将dataxweb表结构元数据初始化到数据库中
#要进入dataxweb的目录cd /home/softwares/datax-web#再去初始化dataxweb数据库mysql -uroot -p123456 -Ddataxweb < ./bin/db/datax_web.sql
7、配置datax的executor执行器python脚本位置
# 进入datax executor目录cd /home/softwares/datax-web/modules/datax-executor/bin# 编辑文件vim env.properties
填写自己datax安装位置bin目录下的datax.py
配置文件如下
DATAX_PATH=/home/softwares/datax/bin/datax.py
8、单节点的dataxweb启动
cd /home/softwares/datax-web/bin./start-all.sh
9、进入web管理界面
地址是 服务器地址 http://192.168.10.11:9527/index.html
账号: admin 密码123456
这是master节点
10 结语
dataxweb的应用是很广泛的,也是很好用的数据可视化抽取平台,请点赞收藏关注吧,博主后续还有更多有含金量的文章等着你们! 至于dataxweb的集群版后续博主在进行补充吧!