pyspark 中启动 jupyter notebook
还是打算选择python学习spark编程
因为java写函数式比较复杂，scala学习曲线比较陡峭，而且sbt和eclipse和maven的结合实在是让人崩溃，经常找不到主类去执行
python以前没用过但是名声在外，可以很方便的进行数据处理
在eclipse中集成pydev插件去编写python程序已经学习过了
今天使用了一下anaconda集成一起的python开发环境，感觉很不错
尤其是ipython notebook或者称为jupyter notebook很方便的进行可视化
但是如何在pyspark中启动呢
查了一些英文的文献都是在linux下的配置
ipython profile create spark
会创建一些启动需要的配置脚本，在脚本中进行设置之后
ipython notebook --profile spark
就可以在pyspark中启动notebook但是我没有配成功
后来看到一个简单的方法
直接在windows环境变量中增加两个pyspark启动时需要检查的变量即可将python解释环境转移到jupyter notebook
第一个变量是PYSPARK_DRIVER_PYTHON：jupyter
另外一个变量是PYSPARK_DRIVER_PYTHON_OPTS：notebook
这样从命令行启动的话（双击启动不行）就可以打开一个web服务在notebook中的py脚本就可以运行在spark上了
参考文献：
http://www.cnblogs.com/NaughtyBaby/p/5469469.html
http://blog.csdn.net/sadfasdgaaaasdfa/article/details/47090513
http://blog.cloudera.com/blog/2014/08/how-to-use-ipython-notebook-with-apache-spark/
Spark机器学习 by Nick Pentreath
最新文章
- 淘淘商城maven工程的创建和svn的上传实现
- BOM和DOM的区别和关联
- 诚聘Android开发工程师
- 操作AppConfig.xml中AppSettings对应值字符串
- 配置hibernate
- C++ （P160—）多继承 二义性 虚基类 “向上转型”
- QT事件研究的文章
- POJ 3277 City Horizon
- Mvc中使用MvcSiteMapProvider实现站点地图之基础篇
- KMP算法java实现
- 使用x manager 连接Linux桌面
- EconomicIndoor集成测试
- python爆破定长密码脚本
- C++ Primmer 学习笔记
- pom string
- pom.xml配置，针对mvn clean install -P参数（环境参数）打包
- 10 Zabbix Item类型之Zabbix IPMI类型
- Java基础笔记(1) 语言 JAVA的历史 Java的搭建环境
- Access与SQL Server 语法差异
- Divide by Zero 2018 and Codeforces Round #474 (Div. 1 + Div. 2, combined)