Ann-133020617
hadoop-Streaming运行时:error:# of failed Map Tasks exceeded allowed limit
我在运行时候出现这个错误 代码用C语言写的。 我看上面有个一样的错误 您说是hadoop本身的错误。我想知道这个错误怎么解决呢?
bsspirit
[未知用户] 上面只是提示是map运行超过次数了,根本原因没有提示出来,map为什么会超过运行次数呢?
你需要查datanode的日志,可能是程序有异常,datanode宕机,其他人的程序在长期占用CPU,内存等。
先查明具体原因,再解决。
bsspirit
安装时,切换成root用户安装。
R安装的库的位置有3个,不同的用户权限安装的位置不一样。
/usr/lib/R/site-library
普通用户安装时,会有一个如下的错误,要调整权限。
http://blog.fens.me/rhadoop-rmr2-pipemapred/
bsspirit
安装时,切换成root用户安装。
R安装的库的位置有3个,不同的用户权限安装的位置不一样。
/usr/lib/R/site-library
普通用户安装时,会有一个如下的错误,要调整权限。
http://blog.fens.me/rhadoop-rmr2-pipemapred/
bsspirit
从你的错误中看,hadoop.jar 没有在R的运行路径中。
Missingrequiredoptions:input,outputUsage:HADOOP_HOME/bin/hadoop jar
bsspirit
Yarn,似乎hadoop版本太高了。换成hadoop 1.0.x再试试。
isaac
楼主您好 我也遇到了和sisi一样的问题:
> install.packages("Rcpp")
Installing package(s) into ‘/usr/local/lib/R/site-library’
(as ‘lib’ is unspecified)
--- Please select a CRAN mirror for use in this session ---
Loading Tcl/Tk interface ... done
Warning message:
package ‘Rcpp’ is not available (for R version 2.15.3)
并且我此时的用户权限确实是:
root@rmaster:~# pwd
/root
root@rmaster:~# R
所以我应该如何解决这个问题呢?
非常感谢楼主
jesebel
[未知用户] 我遇到这个问题,是自己下载了一个Rcpp的包,然后用R CMD INSTALL命令安装好的,希望对你有用
jesebel
楼主,我安装rmr的时候,遇到很奇怪的问题,
sudo R CMD INSTALL -l /usr/local/lib/R/site-library/ /home/hduser/R/rmr2-2.2.0.tar.gz
untar2(tarfile, files, list, exdir)里有警告:
skipping pax global extended headers
错误: cannot extract package from ‘/home/hduser/R/rmr2-2.2.0.tar.gz’
google也未果,能帮忙解决下么,谢谢啦
jesebel
我没试过大数据,不好意思
rhadoop
hi lz 所以的hadoop系统节点都要安装R?
rhadoop
就是找不到rscript文件
Caused by: java.io.IOException: Cannot run program "Rscript": java.io.IOException: error=2, No such file or directory at java.lang.ProcessBuilder.start(ProcessBuilder.java:460) at org.apache.hadoop.streaming.PipeMapRed.configure(PipeMapRed.java:214) ... 23 more Caused by: java.io.IOException: java.io.IOException: error=2, No such file or directory at java.lang.UNIXProcess.(UNIXProcess.java:148) at java.lang.ProcessImpl.start(ProcessImpl.java:65) at
但是
[root@amhdp1 R]# type -a Rscript
Rscript is /usr/local/bin/Rscript
麻烦帮我看一下,hadoop版本是
[root@amhdp1 R]# hadoop version
Hadoop 1.0.3.14
rhadoop
好吧 搞定了 谢谢
xjd
你好,我想问一下,通过RHadoop能读Hadoop下的hdfs的数据吗,还是只能读rhdfs?就是说rhdfs只是R和HDFS的接口,数据还是存在Hadoop下的HDFS中。不知道理解正不正确,望指点一二,谢谢
zhouleyu.com-zhouleyu
你好,我想问一下,通过RHadoop能读Hadoop下的hdfs的数据吗,还是只能读rhdfs?就是说rhdfs只是R和HDFS的接口,数据还是存在Hadoop下的HDFS中。不知道理解正不正确,望指点一二,谢谢
bsspirit
[未知用户] 1. RHadoop可以读Hadoop下的hdfs的数据
2. rhdfs是R与HADOOP的HDFS通信的接口程序
bsspirit
[未知用户] 1. RHadoop可以读Hadoop下的hdfs的数据
2. rhdfs是R与HADOOP的HDFS通信的接口程序
bsspirit
似乎是JAVA没有配置正确
bsspirit
不支持3.0.3,请使用2.15.3
bsspirit
[未知用户] 我不清楚,为什么需要rscript文件?