您好,欢迎访问代理记账网站
移动应用 微信公众号 联系我们

咨询热线 -

电话 15988168888

联系客服
  • 价格透明
  • 信息保密
  • 进度掌控
  • 售后无忧

Linux kylin中使用eclipse搭建scala环境

Linux kylin:16.04

eclipse 版本:3.8

java version:1.8

spark:2.4.5

spark安装参考(厦门大学林子雨老师博客):

http://dblab.xmu.edu.cn/blog/1307-2/

首先声明,eclipse是使用Ubuntu kylin software center 快捷安装的,所以我也不知道它安装到哪里了,网上的下载msi插件把ferture和plugins放到对应文件夹,我没有尝试。

接下来到了我自己看博客摸索的环节了:

打开help,我的help长这样,没有eclipse markerplace

点击install New Software,出现界面:

网页地址:

http://scala-ide.org/download/prev-stable.html

看了版本号之后,我选择的红线框住的地址:

输入之后显示:

第一次安装,啥也不懂,就全部都选择了,然后就是next,OK等一系列操作

然后软件重启,

新建程序file,new,other,scala Project:

正常创建即可,创建完成之后,右键project,点击build path选择Configure Build Path

选择添加jar包,把spark相关的jar包全部导入,把安装包spark-2.4.5-bin-hadoop2.6.tgz解压后的./jars/中jar包全部导入

之后点击选择project,创建scala类,测试代码:

object SimpleApp {  
  
   def main(args: Array[String]) : Unit={  
    println("Hello Scala!!!")  
  } 

}

得到结果:

测试hdfs代码:

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object HDFSExample {
  
  def main(args: Array[String]): Unit = {
    System.setProperty("hadoop.home.dir", "/usr/local/hadoop/lib/native");  //设置对应的hadoop library
    val path = "hdfs://localhost:9000/user/file/local.txt"  //将此HDFS上文件的路径换成自己的相应的路径
    val conf = new SparkConf().setAppName("HDFS Example")
    val sc = new SparkContext(conf)
    val data = sc.textFile(path, 2).cache()
    val numAs = data.filter(line => line.contains("o")).count();  //统计包含字符'o'的单词
    println("Lines with o: %s".format(numAs))
  }
  
}

文件中只有一行hello world......

在运行之前,需要右击代码编辑框 --> Run as --> Run Configurations --> Arguments配置如下内容:

打开hdfs:

然后打开spark:

然后,run就行了,得到结果:

应该是大功告成了!

 

参考博客:(1条消息) Win下使用Eclipse开发scala程序配置(基于Hadoop2.7.3集群)_小太阳~-CSDN博客


分享:

低价透明

统一报价,无隐形消费

金牌服务

一对一专属顾问7*24小时金牌服务

信息保密

个人信息安全有保障

售后无忧

服务出问题客服经理全程跟进