Amazon Redshift and the Case for Simpler Data Warehouses
2024-09-02 08:25:16
Redshift是Amazon一个商业产品上的进化
但并不是技术的进化，他使用的无非都是传统数仓领域的技术
如果说创新，就是大量使用Amazon本身的云服务的云原生架构，大大提升的产品的迭代速度，可维护性，管控能力，当然前提是Amazon有那么好的基础设施可以用
架构
DataPlane
典型的Share Nothing的架构，没啥好说的
LeaderNode，会负责接收流量，生成执行计划分发到计算节点，然后聚合结果返回
数据可以scaleout的分布在计算节点上，同时每个计算节点分成slices，便于资源分配，类似slot
每个slice的数据是以列存形式
Slice由data blocks组成，datablock是数据和磁盘读写和交换的单元，
block会同步写入主备，两副本；同时block会被异步写入S3
Control Plane
对于管控，Redshift基本就是用云原生的方式搭建，大大降低了产品的开发成本
本论文在技术上，没有太多可说的，在产品的设计上倒是很有参考和借鉴的意义
最新文章
- Error configuring application listener of class。。。NoClassDefFoundError。。某Listener 之启动tomcat报错
- HOLOLENS的DEVICE POTAL连接和安装
- js（引用类型和setTimeout scope）
- notepad++ erlang开发环境设置
- javascript什么是函数
- 不合法语句 self.contentView.frame.origin.x = x;
- ural1028 Stars
- FTP文件上传 支持断点续传 并 打印下载进度（二） —— 单线程实现
- Spring高级装配bean
- LDAP & Implentation
- git仓库迁移
- MongoDB存储引擎选择
- C++ 实现分数的四则运算
- Docker入门03——Container
- vscode常用快捷键和插件（持续更新）,以及一些常用设置的坑和技巧
- JavaScript和HTML DOM的区别与联系
- CentOS上传下载查看命令
- OLAP引擎——Kylin介绍（很有用）
- Python——付费/版权歌曲下载
- Shell——Linux/Mac 终端复制文件内容到剪切板