小白的python之路序

计算机专科毕业，.net开发已有8年有余，中途断断续续，似懂非懂，积累了一些经验知识，但是不求甚解，属于那种一瓶不满半瓶子晃荡，这么一个状态。

主要从事web开发，涉及一些前端jq等，还有接口开发，搜索，语音识别，支付，加速，等各种第三方调用，还有一些文件监控，分解分发任务。等一些功能的应用程序。

后来公司主要语言从.net改为java，主要原因招人不方便，主力技术总监以java熟，我也就跟着慢慢学习一些java知识，在语言语法上没有什么大的障碍，就是在工具开发使用环境上面比较繁琐。

怎么说呢，java这一块算是不是很熟，基本能做的就是改写发布这一套流程。接下来技术总监几经更换，，目前面临往以下方面发展：

1. 大数据底层存储方向：hadoop集群搭建（除原生外，还可关注CDH）、hbase、hdfs
2. 流式计算方向：spark core、spark streaming、spark sql，语言java和python均可，建议python，不推荐scala
3. 人工智能方向：spark MLlib、Kaldi，spark MLlib语言使用python，java也行，Kaldi建议c++，不推荐c

这是目前的一些要求，选取区中一个方向学习研究，经过分析，java目前我是转java过来最弱的，经过这几年，目前公司转java来的，我这个部门的，目前就我自己。对python来说，起跑线基本持平，

所以选择python没有什么弱势，并且在兴趣上，对计算还比较感兴趣。所以决定学习python 学习spark core、spark streaming、spark sql这些东西，记录一下。

以下搜集的一些资料信息，并不一定完全正确，理解上也是一知半解，还望指正。

一：对于这三者关系的理解

Spark Core ：

Spark的基础，底层的最小数据单位是：RDD ; 主要是处理一些离线(可以通过结合Spark Streaming来处理实时的数据流)、非格式化数据。

Spark SQL：

Spark SQL 底层的数据处理单位是：DataFrame(新版本为DataSet<Row>) ; 主要是通过执行标准 SQL 来处理一些离线(可以通过结合Spark Streaming来处理实时的数据流)、格式化数据。

Spark Streaming：

Spark Streaming底层的数据处理单位是：DStream ; 主要是处理流式数据(数据一直不停的在向Spark程序发送)，这里可以结合 Spark Core 和 Spark SQL 来处理数据，如果来源数据是非结构化的数据，那么我们这里就可以结合 Spark Core 来处理，如果数据为结构化的数据，那么我们这里就可以结合Spark SQL 来进行处理。
---------------------
来源：https://blog.csdn.net/Han_Lin_/article/details/86669681

二：安装python环境（python 3.X 及以上版本）向下不兼容,开发环境在windows上

1.下载适合自己电脑的最新版本即可 https://www.python.org/downloads/windows/ 30M左右我下载的是安装版3.7

3.7中安装的时候把环境变量一定要勾选，方便以后使用