• 综合主站
  • RHadoop实践系列之二:RHadoop安装与使用

很有帮助的文章,赞一个。。。
12 天 后
hdfs.cat,to.dfs,from.dfs等函数执行都没有问题,但是执行mapreduce函数时总是提示错误:sh: -input: command not found
Error in mr(map = map, reduce = reduce, reduceondataframe = reduceondataframe, : hadoop streaming failed with error code 127
[未知用户] 请确认环境变量中,是否已经有了HADOOP_STREAMING!

上文中环境变量:
~ export HADOOP_STREAMING=/root/hadoop/hadoop-1.0.3/contrib/streaming/hadoop-streaming-1.0.3.jar (rmr2会用到)
[未知用户] 已经设置了,还不是不行。
[未知用户] 还是不行
[未知用户] 你能把你的 “程序代码”,“错误日志”,“系统环境”,完整的写出来吗?
[未知用户] 代码就是上文中您的示例mapreduce(input = '/user/rtest01', map = function(k, v) cbind(v, v^2)),错误提示是sh: -input: command not found
Error in mr(map = map, reduce = reduce, reduceondataframe = reduceondataframe, : hadoop streaming failed with error code 127.
另外,操作系统是centos 6.3,hadoop的版本是Hadoop 2.0.0-cdh4.1.2,以及jdk1.6.0_30。
[未知用户] input = ‘/user/rtest01′,能输出一下吗?
function(k, v) cbind(v, v^2)),是对数字做平方操作,不能处理文本内容。

请再次确认一下。
[未知用户] rtest01的内容就是通过to.dfs(1:10,'/user/rtest01')写入的。函数from.dfs('/user/rtest01')的执行结果:
[[1]]
[[1]]$key
NULL

[[1]]$val
[1] 1

attr(,"rmr.keyval")
[1] TRUE

[[2]]
[[2]]$key
NULL

[[2]]$val
[1] 2
7 天 后
不好意思
想請問您一個問題
當我前置作業都已完成後
我想要安裝rhdfs R CMD INSTALL /root/R/rhdfs_1.0.5.tar.gz
但系統會出現下列警告
ERROR: dependency 'rJava' is not available for package 'rhdfs'
請問這是什麼問題呢??
麻煩您幫我解答一下
謝謝
[未知用户] rJava,你还没有安装或者安装失败,rhdfs对rJava有依赖。请按照操作步骤执行。
[未知用户] 您好:

我想我應該找到原因了
因為我的R的版本只有2.13.1
導致許多東西裝不上去
想請問一下我該如何更新R的版本呢??
[未知用户] 正文中有写:
“4.1 如果是Ubuntu 12.04,请更新源再下载R2.15.3版本”

其他的系统你要自己解决了。
[未知用户] 好的!!
我在嘗試看看
謝謝您的回答
5 天 后
Job not successful. Error: # of failed Map Tasks exceeded allowed limit

这是什么问题啊 我ulimit -n 已经65536了,谢谢
[未知用户] 你这个错误是hadoop本身的,不是R语言引起的。
你同样写个JAVA程序应该也会有这个错误。