一、DataWorks(数据工场)
DataWorks系列视频
 
一、Dataworksv2前世今生
1.1 开发易用、数据稳定性、数据安全、数据调度
1.2 数据全链路
1.3 数据安全
1.4 调度能力
1.5 dataworks 的开发规划
  • 流批一体、交互式实时查询、数据应用构建、解决生态赋能
1.6 dataservice studio
二、dataworkv2.0 版本概述与最佳实践
2.1 开发理念的升级
  • 标准项目模式,开发与生产两套环境
  • 按照业务流程进行划分作业类型(数据集成、开发、资源、函数)
  • 解决方案是有机整合所有的业务流程
2.2 新旧对比:开发体验优化
  • SQL编辑器优化(代码高亮、补齐、格式化)
  • 可视化:查看SQL结构
  • 依赖属性:依赖的粒度可以节点了,每个节点调度属性不一样
  • 开发:自由的配置任务依赖
  • SQL结果分析组件更强大,有excel的部分功能,显示结果1万条
  • SQL组件,代码重用,组件的开发模式引入
  • 三天内SQL运行历史
  • 代码全局搜索功能
  • 回收站
  • 表管理
2.3 数据掌控力
  • 数据质量智能监控、数据保护伞、数据服务
2.3.1 数据质量智能监控
  • 处理数据、管理数据、分享数据
  • 智能监控:基线预警、事件报警、自定义报警
  • 数据质量:
 
2.3.2 数据保护伞
 
 
  • 敏感数据跟踪审计功能
  • 风险行为的识别,配置规则识别风险行为
2.3.3数据服务
  • 将数据表生产API,如BI报表、数据可视化,
  • 数据给自己用,数据共享给合作伙伴用、数据销售变现
 
 
三、DataWorks V2.0数据集成简介与最佳实践
3.1数据集成简介
 
3.2 操作流程
  • 同步一个表/文件(一批表文件)
  • 三种数据源的配置:实列配置(阿里云自身的产品)、有公网Ip(jdbc)、私网ip
  • 运行任务:周期运行、测试运行(只跑当前任务)、补数据运行(可以跑当前任务及其下游、可选时间区间)
3.3 最佳实践
(1)同步速度调优,分析同步任务--》任务切分(并发《=2dmu)---》
 
(2)自定义资源组
  • 独占同步资源、
  • 打通特殊网络
四、DataWorks V2.0数据开发功能与用法解析

最新文章

  1. MySQL中interactive_timeout和wait_timeout的区别
  2. 重构第6天:降低字段(Push Down Field)
  3. (八)play之yabe项目【身份验证】
  4. 测试通过Word直接发布博文
  5. Php 基本语法
  6. xyiyy开始写博客了
  7. javascript 高级程序设计1--14章重点总结
  8. 【BZOJ1877】晨跑(费用流)
  9. Event 发布与订阅(一)
  10. JAVA实现ATM源代码及感想
  11. CF917D Stranger Trees
  12. Redis-Sentinel 数据源配置
  13. RabbitMQ常见错误1
  14. Handler消息处理机制详解
  15. 在linux下出现cannot restore segment prot after reloc: Permission denied
  16. 团队作业 & alpha最终测试报告
  17. Hadoop源码学习笔记(3) ——初览DataNode及学习线程
  18. mysql数据库安装、启动及权限设置
  19. JAVA基础(9)——容器(3)——并发容器
  20. HTML Colors

热门文章

  1. DS博客作业8——课程总结
  2. Python对字典分别按键(key)和值(value)进行排序
  3. 5、kubernetes资源清单之Pod应用190709
  4. 关于varchar的总结
  5. Android ConstraintLayout 约束布局属性
  6. "Developer tools access" 需控制另一个进程才能继续调试 解决方案
  7. 微信小程序UI学习
  8. FreeBSD Here is how to upgrade
  9. git 新建项目的一些操作
  10. 搜索框的测试checklist