RHadoop实践系列之四 rhbase安装与使用
2 个月 后
根据该四篇文章用了一个下午加上一个晚上完成RHadoop的rhdfs、rmr2与rhbase环境的搭建,发现该文章不愧是实战,相当不错,能收我作为徒弟吗 呵呵
[未知用户] 呵呵,同学客气了!!希望对你有帮助。 接下可以自己写一些rhadoop的实践例子分享出来了。
如果你还对其他的主题兴趣,也可以来我的博客看看。http://blog.fens.me
如果你还对其他的主题兴趣,也可以来我的博客看看。http://blog.fens.me
在CentOS 6.3 64bit上安装,按照安装步骤,发现在成功安装完Thrift之后,执行R CMD INSTALL rhbase_1.1.1.tar.gz会出错,显示找不到“TProcessor.h”文件之类。
使用以下命令检查,说找不到Thrift:
使用以下命令检查,说找不到Thrift:
$ pkg-config --cflags thrift
[code]
解决办法是:设置PKG_CONFIG_PATH系统参数 , .bash_profile 文件中增加如下语句:
[code]
$ cd ~
$ vi .bash_profile
export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig/
$ source .bash_profile
$ pkg-config --cflags thrift
-I/usr/local/include/thrift
此时执行RMD Install仍然报错,但是错误变成了找不到libthrift.so
$ cd ~
$ ls /usr/local/lib
libthrift-0.9.0.so libthrift.a pkgconfig
$ vi .bash_profile
LD_LIBRARY_PATH=LD_LIBRARY_PATH:/usr/local/lib
export LD_LIBRARY_PATH
$ source .bash_profile
[/cdoe]
再次执行R CMD INSTALL rhbase_1.1.1.tar.gz , 成功!
在CentOS 6.3 64bit上安装,按照安装步骤,发现在成功安装完Thrift之后,执行R CMD INSTALL rhbase_1.1.1.tar.gz会出错,显示找不到“TProcessor.h”文件之类。
使用以下命令检查,说找不到Thrift:
$ pkg-config --cflags thrift
解决办法是:设置PKG_CONFIG_PATH系统参数 , .bash_profile 文件中增加如下语句:
$ cd ~
$ vi .bash_profile
export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig/
$ source .bash_profile
$ pkg-config --cflags thrift
-I/usr/local/include/thrift
此时执行RMD Install仍然报错,但是错误变成了找不到libthrift.so
$ cd ~
$ ls /usr/local/lib
libthrift-0.9.0.so libthrift.a pkgconfig
$ vi .bash_profile
LD_LIBRARY_PATH=LD_LIBRARY_PATH:/usr/local/lib
export LD_LIBRARY_PATH
$ source .bash_profile
再次执行R CMD INSTALL rhbase_1.1.1.tar.gz , 成功!
使用以下命令检查,说找不到Thrift:
$ pkg-config --cflags thrift
解决办法是:设置PKG_CONFIG_PATH系统参数 , .bash_profile 文件中增加如下语句:
$ cd ~
$ vi .bash_profile
export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig/
$ source .bash_profile
$ pkg-config --cflags thrift
-I/usr/local/include/thrift
此时执行RMD Install仍然报错,但是错误变成了找不到libthrift.so
$ cd ~
$ ls /usr/local/lib
libthrift-0.9.0.so libthrift.a pkgconfig
$ vi .bash_profile
LD_LIBRARY_PATH=LD_LIBRARY_PATH:/usr/local/lib
export LD_LIBRARY_PATH
$ source .bash_profile
再次执行R CMD INSTALL rhbase_1.1.1.tar.gz , 成功!
Sorry, 不知道为什么格式会乱掉,有遇到:找不到“TProcessor.h”文件 或 找不到libthrift.so 问题的同学,请移步:
http://qing.blog.sina.com.cn/2090594487/7c9bf0b7330045lk.html?rnd=0.8111303471655716
http://qing.blog.sina.com.cn/2090594487/7c9bf0b7330045lk.html?rnd=0.8111303471655716
[未知用户] 我不记得会有这个错误,不过能解决就好了。:-)
[未知用户] 我觉得这个错误,是Thrift安装时,没有指定安装路径的问题。
LD_LIBRARY_PATH=LD_LIBRARY_PATH:/usr/local/lib
这个变量设置,是让R找到Thrift类库。
在配置rjava的时候,好像也是需要类似的一个环境变量的。
LD_LIBRARY_PATH=LD_LIBRARY_PATH:/usr/local/lib
这个变量设置,是让R找到Thrift类库。
在配置rjava的时候,好像也是需要类似的一个环境变量的。
1 个月 后
我比较熟悉R,但是对 Java 和 Hadoop知之甚少。我对大数据分析很有兴趣,希望能学习R/Hadoop的知识。
9 个月 后
我也解决了tprocessor.h找不到的问题,建议大家移步这里探索一下:http://www.chenjunlu.com/2011/03/understanding-pkg-config-tool/
12 天 后
你好,我在安装好了rhbase以后,在导入和初始化rhbase包时出现了错误:
> library(rhbase)
> hb.init()
Thrift: Wed Apr 23 16:06:56 2014 TSocket::open() connect() <Host: 127.0.0.1 Port: 9090>Connection refused
Error in hb.init() : rhbase:: connect() failed: Connection refused
这是什么问题呢?
> library(rhbase)
> hb.init()
Thrift: Wed Apr 23 16:06:56 2014 TSocket::open() connect() <Host: 127.0.0.1 Port: 9090>Connection refused
Error in hb.init() : rhbase:: connect() failed: Connection refused
这是什么问题呢?
7 个月 后
[未知用户] 没有开启thrift服务
[未知用户] 是的,已经解决了,谢谢
hbase(main):011:0> scan 'student_rhbase'
ROW COLUMN+CELL
Xx0Ax00x00x00x02x00x02x0F column=info:age, timestamp=1417064621356, value=Xx0Ax00x00x00x02x00x02x0Fx03x00x02x03x
x03x00x02x03x00x00x00x00 00x00x00x00x10x00x00x00x01x00x04x00x09x00x00x00x0224
x10x00x00x00x01x00x04x00x
09x00x00x00x02ma
Xx0Ax00x00x00x02x00x02x0F column=info:age, timestamp=1417064613729, value=Xx0Ax00x00x00x02x00x02x0Fx03x00x02x03x
x03x00x02x03x00x00x00x00 00x00x00x00x10x00x00x00x01x00x04x00x09x00x00x00x0224
x10x00x00x00x01x00x04x00x
09x00x00x00x04mary
2 row(s) in 0.0330 seconds
通过rhbase存入的数据在hbase shell下查看格式如上,什么情况,不是字符串啊?怎么存成字符串
ROW COLUMN+CELL
Xx0Ax00x00x00x02x00x02x0F column=info:age, timestamp=1417064621356, value=Xx0Ax00x00x00x02x00x02x0Fx03x00x02x03x
x03x00x02x03x00x00x00x00 00x00x00x00x10x00x00x00x01x00x04x00x09x00x00x00x0224
x10x00x00x00x01x00x04x00x
09x00x00x00x02ma
Xx0Ax00x00x00x02x00x02x0F column=info:age, timestamp=1417064613729, value=Xx0Ax00x00x00x02x00x02x0Fx03x00x02x03x
x03x00x02x03x00x00x00x00 00x00x00x00x10x00x00x00x01x00x04x00x09x00x00x00x0224
x10x00x00x00x01x00x04x00x
09x00x00x00x04mary
2 row(s) in 0.0330 seconds
通过rhbase存入的数据在hbase shell下查看格式如上,什么情况,不是字符串啊?怎么存成字符串
18 天 后
[未知用户] 请问怎么解决的,我也遇到了这样的问题