在下略读了以下文章,尝试使用spark运算大量数据~
<https://github.com/rstudio/sparklyr> 和 <http://www.cnblogs.com/homewch/p/5658970.html>
不过就是无法连接到spark... 错误信息显示得使用其它版本的Java,不过僕刚安装Java_8.144,还是不行。=="

> spark_version <- "2.1.0"
> sc <- spark_connect(master = "local", version = spark_version)

Error in get_java(throws = TRUE) :
Java is required to connect to Spark. JAVA_HOME is set but does not point to a valid version. Please fix JAVA_HOME or reinstall from: https://www.java.com/en/

    5 天 后

    JAVA_HOME is set but does not point to a valid version.

    你试试在terminal运行 echo $JAVA_HOME, 看看输出是什么。
    在Mac上,结果是 (JDK 1.7)
    /Library/Java/JavaVirtualMachines/1.7.0.jdk/Contents/Home

    • ryo 回复了此帖
      7 天 后

      stella_xu

      scibr@RStudio-Scibrokes  ~/Documents
      $ echo $JAVA_HOME
      C:\Program Files\Java\jre1.8.0_144\bin\server; C:\Program Files\Java\jre1.8.0_144\bin; C:\Program Files\
      Java\jre1.8.0_144

      Cloud2016

      > devtools::session_info()
      ─ Session info ──────────────────────────────────────────────────────────────────────────────────────────────────
       setting  value                       
       version  R version 3.4.2 (2017-09-28)
       os       Windows >= 8 x64            
       system   x86_64, mingw32             
       ui       RStudio                     
       language en                          
       collate  Japanese_Japan.932          
       tz       Asia/Tokyo                  
       date     2017-10-05                  
      
      ─ Packages ──────────────────────────────────────────────────────────────────────────────────────────────────────
       package     * version     date       source                                 
       clisymbols    1.2.0       2017-08-20 Github (gaborcsardi/clisymbols@e49b4f5)
       devtools      1.13.3.9000 2017-09-01 Github (hadley/devtools@c9ca63a)       
       digest        0.6.12      2017-01-27 CRAN (R 3.4.1)                         
       installr    * 0.19.0      2017-04-21 CRAN (R 3.3.3)                         
       magrittr      1.5.0       2017-08-20 Github (smbache/magrittr@0a76de2)      
       memoise       1.1.0       2017-04-21 CRAN (R 3.4.1)                         
       pkgbuild      0.0.0.9000  2017-08-20 Github (r-lib/pkgbuild@6574561)        
       pkgload       0.0.0.9000  2017-09-01 Github (r-lib/pkgload@3dca89e)         
       rlang         0.1.2.9000  2017-10-04 Github (tidyverse/rlang@c6b038f)       
       sessioninfo   1.0.1       2017-08-20 Github (r-lib/sessioninfo@e813de4)     
       stringi       1.1.6       2017-09-10 Github (gagolews/stringi@16526c8)      
       stringr     * 1.2.0       2017-02-18 CRAN (R 3.4.1)                         
       usethis       0.0.0.9000  2017-09-01 Github (r-lib/usethis@12e6f95)         
       withr         2.0.0       2017-07-28 CRAN (R 3.4.1)                         
       yaml          2.1.14      2016-11-12 CRAN (R 3.4.1)  

      我根据官网 <https://spark.rstudio.com/> 走了一遍,没遇到你的问题,从上面你给的 JAVA_HOME 来看,你只装了JRE,而没有装JDK,很可能是这个问题。

      $ echo $JAVA_HOME
      C:\Program Files\Java\jdk1.8.0_131\




      刚安装了jdk也设置了JAVA_HOME后还是一样,只能改天才使用sparklyr了~?

      > library(sparklyr)
      > sc <- spark_connect(master = "local")
      * Using Spark: 2.1.0
      Error in get_java(throws = TRUE) : 
        Java is required to connect to Spark. JAVA_HOME is set but does not point to a valid version. Please fix JAVA_HOME or reinstall from: https://www.java.com/en/
      > Sys.getenv('JAVA_HOME')
      [1] "C:\\Program Files\\Java\\jdk1.8.0_144; C:\\Program Files\\Java\\jdk1.8.0_144\\bin; C:\\Program Files\\Java\\jdk1.8.0_144\\jre\\bin"

        Cloud2016
        原本还以为设置多几个路径,系统(不同的软件)就会自动搜索与匹配哪个符合该软件要求的... 原来是画蛇添足吖!?

        > library(sparklyr)
        > sc <- spark_connect(master = "local")
        * Using Spark: 2.1.0
        > ##成功连接到 Spark 了...

        最近在自修计量分析<https://github.com/englianhu/binary.com-interview-question>(想加入binary.com),以后就得向@Cloud2016 您多多指教咯!?

          ryo 不敢当,论坛里一大堆牛人呢,正好这个问题我看到了,先他们一步回答而已!