從頭學習大數據培訓課程 任務調度工具 oozie（二）基本元素、oozie_SSH、MySQL 命令、tomcat與HTML

1. tomcat

bin 控制腳本

webapps 放web應用的地方

請求過程

html

2. oozie常用基本元素

job.properties 記錄了job的屬性

job.properties 該文件主要是設置一些參數信息和公共變數

集群參數 nameNode地址

nameNode=hdfs://master:8020

resourceManager地址

jobTracker=master:8032

oozie隊列 這個屬性一般不做修改

queueName=default

oozie workflow.xml在hdfs上的路徑

workflowAppUri=${nameNode}/work/workflow.xml

workflow的名字

workflowName=workflow

或者自定義的參數

workflow.xml

--啟動的action的名稱 --該動作節點的意思是登錄一台機器，然後執行一條shell命令 qingniu@nn2.hadoophadoop fs -mkdir -p /data/hainiu/hainiu_test --需要執行的具體腳本 --執行成功以後跳轉的節點 --執行失敗以後跳轉的節點 Java failed, error message[${wf:errorMessage(wf:lastErrorNode())}]

3. oozie ssh 先配置好ssh免密登錄 配置oozie所在機器到目標機器的ssh免密登錄 首先要配置ssh時允許遠端讀取服務端的環境變數 vim /etc/ssh/sshd_config

PermitUserEnvironment yes

service sshd restart

env > /home/hadoop/environment

chmod 600 ./environment

配置之後就能找到環境變數

如果不配置在ssh時候就找不到環境變數

創建測試腳本

配置OOZIE中的ssh例子，讓其調用剛才新建的測試腳本 vim /home/hadoop/examples/apps/ssh/job.properties

vim /home/hadoop/examples/apps/ssh/workflow.xml

更新HDFS上的workflow.xml配置

運行oozie命令，讓其調用剛才新建的測試腳本 oozie job -run --config ./job.properties !

查看oozie的web頁面，看任務是否運行成功

查看測試結果

結合hive使用 創建hive測試腳本

測試腳本

修改oozie的workflow.xml配置

上傳修改之後的workflow.xml到HDFS上

通過oozie調用testhive.sh腳本從hive中導出數據到testhive文件中

查看測試結果

將人hive里導出的數據導入到mysql中 首先在mysql中創建表

4. mysql load data

查看mysql中oozie庫中的testhive表是否導入數據

通oozie實現從hive導出數據併入到mysql中 修改oozie的ssh的workflow.xml配置

上傳修改之後的配置

啟動oozie JOB

查看MYSQL中testhive表中是否導入了數據

增加了300條數據，說oozie任務整體運行成功

5. mysql export data

F