Tag: oozie

在Oozie中将参数从一个动作传递到另一个动作: 我有一个以下shell脚本： DATE= date +”%d%b%y” -d “-1 days” 如何将DATE传递给Java操作？

如果在SparkAction中使用PySpark，Oozie作业将无法运行: 我在Oozie中遇到过几个SparkAction作业的例子，其中大多数都是用Java编写的。我编辑了一下并在Cloudera CDH Quickstart 5.4.0（使用Spark版本1.4.0）中运行该示例。 workflow.xml ${jobTracker} ${nameNode} ${master} ${mode} Spark-FileCopy org.apache.oozie.example.SparkFileCopy ${nameNode}/user/${wf:user()}/${examplesRoot}/apps/spark/lib/oozie-examples.jar ${nameNode}/user/${wf:user()}/${examplesRoot}/input-data/text/data.txt ${nameNode}/user/${wf:user()}/${examplesRoot}/output-data/spark Workflow failed, error message[${wf:errorMessage(wf:lastErrorNode())}] job.properties nameNode=hdfs://quickstart.cloudera:8020 jobTracker=quickstart.cloudera:8032 master=local[2] mode=client examplesRoot=examples oozie.use.system.libpath=true oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/spark Oozie工作流示例（在Java中）能够完成并完成其任务。我用Python / PySpark编写了一个spark-submit作业。我尝试删除和jar my_pyspark_job.py 但是当我尝试运行Oozie-Spark作业时，我在日志中出错： Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.SparkMain], exit code [2] 我想知道如果我使用Python / PySpark，我应该在和标签中放置什么？

如何将Jar文件传递给OOZIE shell节点中的shell脚本: 嗨我在脚本中运行java程序时遇到错误，该脚本正在oozie shell action workflow中执行。 Stdoutput 2015-08-25 03:36:02,636 INFO [pool-1-thread-1] (ProcessExecute.java:68) – Exception in thread “main” java.io.IOException: Error opening job jar: /tmp/jars/first.jar Stdoutput 2015-08-25 03:36:02,636 INFO [pool-1-thread-1] (ProcessExecute.java:68) – at org.apache.hadoop.util.RunJar.main(RunJar.java:124) Stdoutput 2015-08-25 03:36:02,636 INFO [pool-1-thread-1] (ProcessExecute.java:68) – Caused by: java.io.FileNotFoundException: /tmp/jars/first.jar (No such file or directory) Stdoutput 2015-08-25 03:36:02,636 INFO [pool-1-thread-1] (ProcessExecute.java:68) – at java.util.zip.ZipFile.open(Native […]

Oozie> Java动作>为什么属性oozie.launcher.mapred.child.java.opts不起作用: 我正在使用Java动作在Oozie上工作。 Java操作应该使用Java选项-Xmx15g。因此，我将属性oozie.mapreduce.map.memory.mb设置为25600（25G），以防需要额外的内存。在这个简单的设置之后，我运行了Oozie作业，然后在Java运行时期间出现了OutofMemory（堆空间不足）错误。因此，我根据链接在Java操作的属性节点中将oozie.launcher.mapred.child.java.opts设置为-Xmx15g： http ：//downright-amazed.blogspot.fi/2012/02/configure-oozies -launcher-job.html 。但我仍然得到相同的OutofMemory错误。然后我尝试将-Xmx15g添加到Java操作节点内的节点java-opts。这工作得很好，但如果是这样，地狱还有属性oozie.launcher.mapred.child.java.opts？任何人都知道为什么会这样？请给出一些评论为何如此。提前致谢。我真的觉得Oozie不是一个方便的工具。

在OOZIE-4.1.0中运行多个工作流时出错: 我按照http://gauravkohli.com/2014/08/26/apache-oozie-installation-on-hadoop-2-4-1/中的步骤在Linux机器上安装了oozie 4.1.0 hadoop version – 2.6.0 maven – 3.0.4 pig – 0.12.0 群集设置 – MASTER NODE runnig – Namenode，Resourcemanager，proxyserver。 SLAVE NODE正在运行 -Datanode，Nodemanager。当我运行单个工作流程时，工作意味着它成功。但是当我尝试运行多个Workflow作业时，即两个作业都处于接受状态检查错误日志，我深入研究了问题， 014-12-24 21:00:36,758 [JobControl] INFO org.apache.hadoop.ipc.Client – Retrying connect to server: 172.16.***.***/172.16.***.***:8032. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS) 2014-12-25 09:30:39,145 [communication thread] INFO org.apache.hadoop.ipc.Client – Retrying connect […]