spark编程模型

======

spark如何工作的？

1、user应用产生RDD，操作变形，运行action操作

2、操作的结果在有向无环图DAG中

3、DAG被编译到stages阶段中

4、每一阶段作为任务的一部分被执行（一个task对应一个partition分块）

========

narrow transformation和wide transformation

1, narrow transformation,

map()   filter()

2,wide transformation

groupByKey()

reduceByKey()

=============

最新文章

1. 开发错误记录13：java.lang.UnsatisfiedLinkError: Couldn't load xxx.so: findLibrary returned null
2. Linux SAMBA Practical
3. [Cocos2d-x For WP8]EaseActions缓动动作
4. 新工程软连接到原来的工程的out目录后，可以直接编译模块
5. springMvc基本注解：@Component、@Repository(持久层) 、@Service(业务逻辑) 、@Controller(控制层)
6. Android Handler值传递（文）
7. HDU4628+状态压缩DP
8. ios 页面滑入滑出
9. hdu 1042 N!(高精度乘法 + 缩进）
10. Bootstrap禁用响应式布局
11. COB工艺流程及基本要求
12. [Jenkins]admin用户登陆，提示登陆无效（之前登陆OK，三天没有登陆，突然提示登陆无效，重启无法解决）的解决方法
13. 2016 JetBrains 开发者日遇见开发神器的创造者
14. session和cookie的辨析[阅读]
15. MinGW 编译 libaom 1.0.0 注意事项
16. python全栈开发* 02 知识点汇总 * 180531
17. putIfAbsent
18. December 12th 2016 Week 51st Monday
19. 基于SSH框架实际开发时遇到的问题及解决办法
20. vim高亮显示文本

热门文章

1. shell 字符串截取表达式
2. nginx mirror/post_action+gor实现https流量复制
3. sqlserver 汉字转拼音（转载）
4. linux删除命令的简单查找使用--临时找来用的
5. Flink原理（三）——Task（任务）、Operator Chain（算子链）和Slot（资源）
6. 调试freeradius 3.0 与microsoft AD通过LDAP认证的笔记
7. ccze - A robust log colorizer（强大的日志着色器）
8. C++（四十三） — 函数模板机制
9. Kotlin编译器优化与when关键字详解
10. python_并发编程——多进程