spark学习14(spark local模式运行spark程序的报错)
2024-08-29 03:26:39
报错1
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
解决办法
下载winutils.exe文件,将其放到hadoop目录hadoop-2。6.0\bin下
然后配置HADOOP_HOME和并配置path就可以了,比如我的是:
HADOOP_HOME为
D:\bigdata_software\hadoop-2.6.0
path为
HADOOP_HOME\bin
报错2
Exception in thread "main" java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;
解决办法
在IDE中点击Run -> Edit Configuration,在右侧VM options中输入“-Dspark.master=local”,指示本程序本地单线程运行
运行之后还是报这个错的话,原因可能是scala版本兼容,我从scala2.11到scala2.10,就可以了
最新文章
- java基础算法之冒泡排序
- iOS 深入理解UINavigationController 和 UIViewController 之间的关系
- OOD沉思录 --- 类和对象的关系 --- 包含关系4
- Entity Framework 全面教程详解(转)
- Codeforces 599C Day at the Beach(想法题,排序)
- python 统计单词个数
- javascript note
- C# linq的学习及使用
- SmartQQ二维码登陆接口分析
- Nginx 负载均衡-加权轮询策略剖析
- Node.js博客搭建
- 12.26daily_scrum
- IAR拷贝工程后,修改工程名的方法
- Postman高级应用——串行传参和动态传参详解
- HDUOJ-------单词数
- C#之Console
- JDK和Eclipse的下载路径
- vue-router 实现导航守卫(路由卫士)
- Execute Process Task
- 【转】JQuery Validate使用总结二
热门文章
- 编写高质量代码--改善python程序的建议(七)
- 相似性分析之Jaccard相似系数
- 巨蟒python全栈开发数据库攻略6:索引2&;重要内容汇总
- 科学计算 NumPy 与C语言对比 N-dimensional array ndarray 元素元素操作 计算正太分布分位数
- Python菜鸟之路:Django 信号
- SQL Server 加前导0
- python项目环境的导出、导入
- python setup.py install 报错:error: [WinError 3] 系统找不到指定的路径。: 'C:\\Program Files (x86)\\Microsoft Visual Studio 14.0\\VC\\PlatformSDK\\lib
- window下安装mysql详细步骤
- 我的Android进阶之旅------>解决Android Studio报错:DefaultAndroidProject : Unsupported major.minor version 52.0