下载了spark 1.4,执行spark-shell时遇到以下错误:

java.net.UnknownHostException: UKON-M-Q0EP: UKON-M-Q0EP: nodename nor servname provided, or not known

at java.net.InetAddress.getLocalHost(InetAddress.java:1473)

这并非spark特有的错误,而是Mac上使用java常见的一个问题,是application在查询主机相应的ip地址时无法查询到ip地址。

当中UKON-M-Q0EP是我Mac的主机名,可以通过Mac terminal的hostname命令查询到:

UKON-M-Q0EP:~ ukon$ hostname

UKON-M-Q0EP

可是系统却不能找到此主机名的ip地址,(事实上我是不太能理解为什么不能找到。系统就不能智能一点吗?但的确是不能),这可以通过以下的命令来验证:

UKON-M-Q0EP:~ ukon$ ping UKON-M-Q0EP

^C

可是假设我在/etc/hosts文件里增加此主机名与127.0.0.1就行ping到了:

UKON-M-Q0EP:~ ukon$ ping UKON-M-Q0EP

PING ukon-m-q0ep (127.0.0.1): 56 data bytes

64 bytes from 127.0.0.1: icmp_seq=0 ttl=64 time=0.056 ms

64 bytes from 127.0.0.1: icmp_seq=1 ttl=64 time=0.133 ms

64 bytes from 127.0.0.1: icmp_seq=2 ttl=64 time=0.121 ms

64 bytes from 127.0.0.1: icmp_seq=3 ttl=64 time=0.134 ms

^C

可见,系统的确须要我们手动的在/etc/hosts中配置才可以找到主机的ip地址。

再次执行./bin/spark-shell,就行成功了

UKON-M-Q0EP:spark-1.4.0-bin-hadoop2.6 ukon$ ./bin/spark-shell

2015-07-04 00:12:04.604 java[31755:1803488] Unable to load realm info from SCDynamicStore

Welcome to

__

/ / _ _/ /__

\ \/ \/ _ `/ _/ ‘/

// ./_,// //_\ version 1.4.0

/_/

Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_45)

Type in expressions to have them evaluated.

Type :help for more information.

Spark context available as sc.

SQL context available as sqlContext.

scala>

DONE!

然后。成功的执行了一段spark代码,统计一个本地文件的行数和查询第一行的文本内容:

scala> val textFile = sc.textFile(“README.md”)

textFile: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[1] at textFile at :21

scala> textFile.count()

res0: Long = 98

scala> textFile.first()

res1: String = # Apache Spark

非常酷!

最新文章

  1. # mysql -u root -p -bash: mysql: command not found
  2. 【读书笔记】iOS网络-异步请求与运行循环
  3. Java 程序 ——感想
  4. 移动端html页面布局
  5. linux安装eclipse
  6. 电影成生活O2O必争之地,破局之战就此拉开
  7. Qt之QFileSystemWatcher
  8. BZOJ 3872 Ant colony
  9. 动态IP无法获取默认网关,显示0.0.0.0的解决办法
  10. 分页存储过程实现-SqlServer
  11. Elasticsearch 的分页报错 result window is too large
  12. arcgis server 中Web墨卡托投影与WGS-84坐标的转换
  13. 注意:QQ影音视频压缩时长丢失
  14. 如何确保Memcache数据读写操作的原子性(转)
  15. 导入项目报错【Minimum supported Gradle version is 3.3. Current version is 2.14.1】
  16. 依据Axis2官网的高速入门英文文档总结
  17. DELPHI XE10,JSON 生成和解析,再利用INDYHTTP控件POST
  18. 跳出框架iframe的操作语句
  19. 安装完C++builder6.0启动的时候总是出现无法将'C:\Program Files\Borland\CBuilder6\Bin\bcb.$$$'重命名为bcb.dro
  20. [linux] C语言Linux系统编程进程基本概念

热门文章

  1. 8种提升 ASP.NET Web API 性能的方法
  2. 访问API的方式为:localhost/api/customers, 创建自定义JSON格式化器
  3. MVC页面常用方法
  4. C# Aspose.Cells 使用汇总
  5. ZOJ 3435 Ideal Puzzle Bobble 莫比乌斯反演
  6. 重装python 和 yum
  7. Python协程一点理解
  8. 【Uva 242】Stamps and Envelope Size
  9. UVALive 6867 Plane Ticket Pricing
  10. CCF模拟题 有趣的数