组建信息
组件 版本 下载地址
maven 3.6.1 https://maven.apache.org/
jdk jdk1.8.0 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Scala 2.11.7 https://www.scala-lang.org/download/all.html
IDEA 最新版本 http://www.jetbrains.com/idea/

idea+java+scala安装配置

idea+java+scala安装配置参考另一篇博文:Spark开发环境搭建(IDEA、Scala、SVN、SBT)


maven安装配置

进入官网首页


切换下载源


选择下载文件


解压文件(结构如下)


配置环境变量(默认你会了,不会就参考jdk配置)


验证 maven 安装配置


配置中央仓库(C:\Tool\maven3.6.1\conf\settings.xml)

加入如下内容

<!--如果不了解mirrorOf的含义 建议在这里只配置一个阿里云,其他的仓库再pom.xml中配置-->
<mirrors>
<!-- nexus-aliyun 首选,放第一位,有不能下载的包,再去做其他镜像的选择 -->
<mirror>
<id>nexus-aliyun</id>
<mirrorOf>central</mirrorOf>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
</mirrors>

比如我大多数的jar 来自阿里云,

但是我用的 spark是cdh或者hdp的,在阿里云里面找不到,

那么我配置我可以在pom.xml文件中添加相关仓库信息

<!--hdp仓库-->
<repositories>
<repository>
<id>hortonworks</id>
<url>https://repo.hortonworks.com/content/repositories/releases/</url>
</repository>
</repositories>

配置本地仓库

目的:默认的仓库在C:\Users\Administrator\.m2

随着项目的变更,需要的jar可能越来越多,

如果存在系统盘会消耗大量的空间,所以可以把仓库迁移到非系统盘。

  1. 默认系统盘

  2. 修改配置文件(C:\Tool\maven3.6.1\conf\settings.xml)

    添加如下内容

<!--因为我只有一个ssd,且只有一个盘,所以还放在C盘,各位自己随意-->
<localRepository>C:/Tool/maven3.6.1/repository</localRepository>
  1. 移动配置文件

    C:\Tool\maven3.6.1\conf\settings.xml移动到C:\Users\Administrator\.m2中(必须保证两边的文件内容一样)

    同时删除C:\Users\Administrator\.m2下的repository文件夹

(这一步可以不做,在idea创建项目的时候 可以指定配置文件的路径)


配置idea
  1. 新建一个maven项目


  1. 配置jdk


  1. 配置sdk



    (根据实际选择)


  1. 添加scla结构

    在main文件夹中建立一个名为 scala 的文件夹

右键点击 scala 文件夹,

选择 Make Directory as

然后选择Sources Root

(将 scala 文件夹标记为一个源文件的根目录,然后在其内的所有代码中的 package ,其路径就从此根目录下开始算起。)


  1. 在scala建立scala文件


配置pom.xml
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion> <groupId>TestMaven</groupId>
<artifactId>cn.lilcol</artifactId>
<version>1.0-SNAPSHOT</version> <!--aliyun外的仓库-->
<repositories>
<repository>
<id>hortonworks</id>
<url>https://repo.hortonworks.com/content/repositories/releases/</url>
</repository>
</repositories> <!--具体依赖-->
<dependencies>
<!--spark-core_2.11:https://repo.hortonworks.com/content/repositories/releases/-->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.3.2.3.1.0.0-78</version>
</dependency> <!--spark-streaming_2.11:https://repo.hortonworks.com/content/repositories/releases/-->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.11</artifactId>
<version>2.3.2.3.1.0.0-78</version>
</dependency> <!--spark-sql_2.11:https://repo.hortonworks.com/content/repositories/releases/-->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.3.2.3.1.0.0-78</version>
</dependency>
</dependencies> </project>

等待依赖添加完成查看本地仓库
  1. External Libraries下查看情况(相关依赖已经添加)

  2. 查看本地仓库(依赖已经存放在本地仓库)


至此环境配置完成

本文为原创文章,转载请注明出处!!!

最新文章

  1. android3D动画,绕y轴旋转
  2. javascript实现登录验证码
  3. 细说ASP.NET Core与OWIN的关系
  4. 强联通 poj 2762
  5. Spinal Tap Case
  6. php 工厂模式
  7. LR中的编码问题
  8. 处理字符串中的换行,将textarea中的带有换行的字符串变为逗号分隔的写法
  9. 如何用C#检查硬盘是否是固态硬盘SSD
  10. 导出文本、表格、图像到PDF格式文件中(学习整理)
  11. Qt国际化详细介绍,中文乱码以及解决方案
  12. windows Server 2003修改远程连接限制
  13. Python 一路走来 HTML CSS Javascript
  14. js深入研究之扩展类,克隆对象,混合类(自定义的extend函数,clone函数,与augment函数)
  15. 线程 (detach的作用)
  16. ExtJs 学习笔记
  17. MYSQL同步--主从同步问题集锦
  18. Ceres Solver for android
  19. [转] Java se 7新特性研究(二)
  20. 编号中的数学_KEY

热门文章

  1. Http请求工具类 httputil
  2. HDU - 1712 (分组背包模板)
  3. yum 快速LAMP/LNMP 安装(centos7+mysql5.7+apache+php5.6 (缺点:好多模块没有加载)
  4. selenium工作的大概原理
  5. 关于RF中元素定位问题
  6. PAT_A1080#Graduate Admission
  7. centos7下利用nfs搭建wordpress
  8. 绝对 "牛X" 的代码注释,喜欢就拿去用!
  9. LCA的RMQ求法
  10. WAMP中的mysql设置密码(默认密码为空)及phpmyadmin的配置