大数据产品架构

BASE - Dataworks

ODPS - MaxCompute

ODPS 功能组成（Open Data Process Service）

ODPS 是旧称，阿里云公有云服务中现称为 MaxCompute 

Tunnel - 高速上传外部数据到 ODPS 内部，也可以高速下载 ODPS 内部数据到外部

ODPS 基本概念

项目空间（Project）

表（Table）

分区（Partition）

任务（Task）

①. — 任务（Task）：单个 SQL Query 或者 MapReduce 程序统称为一个任务 。

②. — 工作流（Workflow）：有向无环图（DAG），描述各个 Task 之间的依赖和约束 。

③. — 作业（Job）：由一个或者多个 Task 以及表示其执行次序关系的工作流（Workflow）组成 。

④. — 作业实例（Instance）：作业被提交到系统执行时，就产生了作业实例（动态概念） 。一个 Job（作业）多提交运行就会有多个 Instance（作业实例），Instance 保存了执行时的快照（Snapshot）和返回状态 。

资源（Resource）

ODPS 基础架构

ODPS 整体架构

ODPS 客户端

ODPS 接入层

ODPS 逻辑层

ODPS 计算层

最新文章

1. LINQ系列：Linq to Object生成操作符
2. Remove Duplicates from Sorted List II
3. 数据结构和算法 – 9.二叉树和二叉查找树
4. csharp:百度语音识别
5. 在Windows 环境下编译Qt静态库（QT5.32）
6. 怎么学习C++?
7. [转]慎用slice
8. Env:zsh和fish安装和使用
9. web页面开发笔记（不断更新）
10. Fast portable non-blocking network programming with Libevent--转
11. win7下配置apache和php
12. html+css3实现网页时钟
13. SpriteBuilder修改CCB文件中的子CCB文件需要注意的一个地方
14. Flutter绘制波浪
15. 用drawRect以及CAReplicatorLayer绘制动态水波纹
16. 线程不安全的类不要轻易做为static变量使用，及如何使用ThreadLocal将共享变量变为独享变量
17. javaScript tips —— 标签上的data属性
18. Android JazzyViewPager
19. PHPCMS v9.6.0后台getshell
20. Springboot-plus 安装使用的一些问题

热门文章

1. 【Oracle】查询锁的相关SQL
2. kubernets之headless
3. P2986 [USACO10MAR]伟大的奶牛聚集（思维，dp）
4. 风险识别系统-大数据智能风控管理平台-企业风控解决方案– 阿里云 https://www.aliyun.com/product/saf
5. Paginator Django 分页 When QuerySets are evaluated QuerySets 执行原理 QuerySets are lazy 惰性执行 访问db取数据的时机
6. 从URL输入到页面展现到底发生什么？
7. 一文打尽端口复用 VS Haproxy端口复用
8. Language Guide (proto3) | proto3 语言指南（四）枚举类型
9. HTTPS是怎么保证数据安全传输的？
10. Spark Straming，Spark Streaming与Storm的对比分析