spark 1.6 idea本地运行错误
2024-08-31 06:38:30
将spark maven更新至1.6,运行原有程序,发现以下错误:
java.lang.IllegalArgumentException: System memory must be at least 4.718592E8. Please use a larger heap size.
at org.apache.spark.memory.UnifiedMemoryManager$.getMaxMemory(UnifiedMemoryManager.scala:)
at org.apache.spark.memory.UnifiedMemoryManager$.apply(UnifiedMemoryManager.scala:)
at org.apache.spark.SparkEnv$.create(SparkEnv.scala:)
at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:)
at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:)
at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:)
at final_paper_time.main(final_paper_time.java:)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:)
at java.lang.reflect.Method.invoke(Method.java:)
at com.intellij.rt.execution.application.AppMain.main(AppMain.java:)
// :: INFO SparkContext: Successfully stopped SparkContext
解决方案:修改运行配置,在VM中增加下述参数:
-Xms128m-Xmx512m-XX:MaxPermSize=300m-ea
最新文章
- ASP.NET Web API 路由对象介绍
- DOM解析XML报错:Content is not allowed in prolog
- EF中的开放式并发(EF基础系列--28)
- SqlIO优化
- android-The method findViewById(int) is undefined for the type ContactMainFragment报错
- jpa注解
- 【经典】C++&;RPG对战游戏
- mac上使用生成RSA公钥和密钥
- 用Visio画UML用例图
- Laravel OAuth2 (三) ---使用 services 和 facades
- Linux系统监控命令
- 【转】Python正则表达式指南
- 对Java中多态,封装,继承的认识(重要)
- activiti实战系列 activiti连线
- Greenplum启动失败Error occurred: non-zero rc: 1的修复
- H5上传图片之canvas
- SqlBulkCopy简单封装,让批量插入更方便
- 【GMT43智能液晶模块】例程六:WWDG看门狗实验——复位ARM
- USMART 组件移植到STM32
- w​i​n​d​o​w​s​ ​s​e​r​v​e​r​ ​2​0​0​8​ ​r​2​ ​启​用​索​引(转)
热门文章
- 改MAC地址
- AngularJS Front-End App with Cloud Storage Tutorial Part 1: Building a Minimal App in Seven Steps
- div定位
- POj-3104 Drying 二分+贪心
- Allegro PCB -通孔焊盘制作 及Flash制作
- JS查找和替换字符串列子
- Python之路: 面向对象
- Android SystemProperties设置/取得系统属性的用法总结
- ffmpeg ffplay ffprobe资料整理
- sping 对 hibernate进行事务管理--Annotation, xml, 大多数使用XML