Apache Pulsar Pulsar是一个支持多租户的.高性能的服务与服务之间消息通讯的解决方案,最初由雅虎开发,现在由Apache软件基金会管理. Pulsar的主要特性如下: Pulsar实例原生支持多集群,能无缝的基于地理位置进行跨集群备份 非常低的消息发布和端到端的延迟 无缝扩展到超过百万个topic 支持Java,Go,Pytho和C++的客户端 Topic支持多种订阅模式: 独占(exclusive), 共享(shared)和灾备(failover) 通过Apache BookK

一.准备工作 1.1 部署环境 集群规模大概260多台,TSC10机型,机型参数如下: > 1个8核CPU(E5-2620v4) > 64G内存 > HBA,12*4T SATA,1*240G SSD, > 2*10G网口 1.2 机器分配 HBase和Hadoop的主结点共用,子结点也共用. 角色 机型 数量 HBase Master&Hadoop Namenode B6 2 HBase RegionServer&Hadoop Datanode TSC10 265

kafka概述 kafka是一个分布式的基于发布/订阅模式的消息队列(message queue),一般更愿意称kafka是一款开源的消息引擎系统,只不过消息队列会耳熟一些.kafka主要应用于大数据实时领域. 为什么会有消息队列,主要是为了异步处理,提高效率.我们来看一张图 使用消息队列,可以把耗时任务扔到队列里面,异步调用,从而提升效率.也就是我们所说的解耦. 然而除了解耦,还有没有其他作用呢?答案显然是有的,用一个专业点的名词解释的话,就是削峰填谷. 削峰填谷,真的是非常形象的四个字.所谓

概述 学习和使用kafka不知不觉已经将近5年了,觉得应该总结整理一下之前的知识更好,所以决定写一系列kafka学习笔记,在总结的基础上希望自己的知识更上一层楼.写的不对的地方请大家不吝指正,感激万分.第一篇介绍消息队列概况和kafka的入门知识. 消息队列系统 首先说一下消息队列的含义,"消息系统"这个词是从英文翻译过来的,英文的名字是"Messaging System",稍微学习过英语基础的都知道要翻译成消息队列,但是也有一些大家觉得并不正确,因为它片面强调了消

文 | 潘国庆 携程大数据平台实时计算平台负责人 本文主要从携程大数据平台概况.架构设计及实现.在实现当中踩坑及填坑的过程.实时计算领域详细的应用场景,以及未来规划五个方面阐述携程实时计算平台架构与实践,希望对需要构建实时数据平台的公司和同学有所借鉴. 一.携程大数据平台之总体架构 携程大数据平台结构分为三层: 应用层:开发平台Zeus(分为调度系统.Datax数据传输系统.主数据系统.数据质量系统).查询平台(ArtNova报表系统.Adhoc查询).机器学习(基于tensorflow.spa

大会PPT公开下载链接:https://ppt.infoq.cn/list/assh2021 大会主要情况介绍 2021 ArchSummit全球架构师峰会是该大会正式成立的第十年,是极客邦科技旗下InfoQ中国团队推出的重点面向高端技术管理者.架构师的技术会议. 会议聚焦业界强大的技术成果,秉承"实践第一.案例为主"的原则,展示先进技术在行业中的典型实践,以及技术在企业转型.发展中的推动作用.旨在帮助技术管理者.CTO.架构师做好技术选型.技术团队组建与管理,并确立技术对于产品和业务

转自:https://my.oschina.net/u/2982571/blog/775452 设计背景 百度的链接处理系统每天处理万亿级的超链数据,在过去,这是一系列Mapreduce的批量过程,对时效性收录很不友好.在新一代搜索引擎架构设计中,我们采用流式.增量处理替代了之前的批量.全量处理.链接从被发现到存入链接库再到被调度程序选出,变成一个全实时的过程.在这个实时处理过程中,无论链接的入库还是选取,都需要对链接库进行修改,存储系统需要支持千万甚至上亿QPS的随机读写.旧的存储系统无论在单

PaddlePaddle会和Python一样流行吗? 深度学习引擎最近经历了开源热.2013年Caffe开源,很快成为了深度学习在图像处理中的主要框架,但那时候的开源框架还不多.随着越来越多的开发者开始关注人工智能,AI 巨头们纷纷选择了开源的道路:2015年9月Facebook开源了用于在Torch上更快速地训练神经网络的模块,11月Google开源 TensorFlow,2016年1月微软开源CNTK.最近,百度也宣布开源深度学习引擎 PaddlePaddle. 在这场深度学习的框架之争中,

背景介绍 Spark有多种集群运行模式,例如:Standalone,Yarn,Mesos.      下面就说一下如何在Mesos上运行Spark,这也是官方推荐的一种运行方式.      在运行Spark之前咱们先简略介绍一下Mesos.      Mesos计算框架是一个集群管理器,提供了有效的.跨分布式的应用或框架的资源隔离和共享,可以运行Haoop,Spark,Marathon等多种框架.使用Zookeeper实现容错机制,使用Linux Containers来隔离任务,支持多种资源计算

最近一年的工作,有很大的比重在做云平台的事情,简单来说,就是为公司内用户提供一个PaaS,用户可以在我们的云平台上方便的将单机服务程序扩展为多实例程序,以平台服务化的方式对外提供.在这里简单分享一下. 首先简单说一下我们解决了用户的什么需求,或者说痛点. 基础算法直接以库的形式提供给应用方? 用户提供了一个基础算法,这个算法可能以一个动态库的形式提供,那么使应用方需要关注编译依赖,需要关注词典等模型文件,开发成本比较高.尤其是如果这个基础算法需要升级,或者模型文件需要升级的时候,还需要通知应用方

传统的应用都是“monoliths”,意思就是大应用,即所有逻辑和模块都耦合在一起的 这样明显很挺多问题的,比如只能scale up,升级必须整体升级,扩容 所以我们就想把大应用,broken down成小,独立的模块或组件,这样组件可以独立的升级,扩容,组件也可以用不同的语言实现,组件间通过协议通信,每个组件就是一个微服务 微服务技术可以说是传统组件技术,如以前的COM,Corba,基于docker的演进,对于用户透明硬件,实现语言,组件间通过Restful或RPC交互 问题在于,你把一个大应

一:各模块属性 模块名称 状态 建议实例数 功能 负载均衡组件 TiDB 无状态 2 接收SQL请求,处理SQL相关逻辑,并通过PB找到存储数据的TiKV地址 LVS.HAProxy.F5 PB 集群 3 奇数个节点,推荐>3 整个集群的管理模块,存储元信息.对TiKV集群进行调度和负载均衡.分配全局事务ID  Raft TiKV 集群 3 负责存储数据  Raft 二:环境要求 2.1:开发测试环境: 组件 CPU 内存 本地存储 网络 实例数量(最低要求) TiDB 8核+ 16 GB+ 无

突出强调部分 [强制]key名不要包含特殊字符,如空格.换行.单双引号以及其他转义字符 [强制]拒绝bigkey(防止网卡流量.慢查询) [强制]控制key的生命周期,redis不是垃圾桶 [强制]技术设计上避免热点key [强制]禁止线上使用keys.flushall.flushdb.CONFIG等 [强烈建议]选择适合的数据类型 [强烈建议]使用批量操作提高效率,但要注意控制一次批量操作的元素个数(例如500以内,实际也和元素字节数有关).如果用pipeline,也注意批次下key数量限制在

背景   “线下没问题的”. “代码不可能有问题 是系统原因”.“能在线上远程debug么”    线上问题不同于开发期间的bug,与运行时环境.压力.并发情况.具体的业务相关.对于线上的问题利用线上环境可用的工具,收集必要信息 对定位问题十分重要.    对于导致问题的bug.资源瓶颈很难直观取得数据,需要根据资源使用数据.日志等信息推测问题根源.并且疑难问题的定位通常需要使用不同的方法追根溯源.    这篇wiki我对自己使用过的工具做了整理,并分享一些案例. 1.  常见问题1.1 可用性

阿里妹导读:为了保证系统的在线交易服务顺利运转,最初几年,阿里都是在双11大促来临之前大量采购机器储备计算资源,导致了双11之后资源大量闲置点现象.是否能把计算任务与在线服务进行混合部署,在现有弹性资源基础上提升集群资源利用率,降低双11资源新增成本? 今天,阿里测试开发专家何颖,将为你深入介绍阿里容器调度系统Sigma仿真平台Cerebro. Sigma 是阿⾥巴巴全集团范围的 Pouch 容器调度系统.2017年是 Sigma 正式上线以来第⼀次参与双11,在双11期间成功⽀撑了全集团所有容

摘要 今天我们要推荐给大家的是关于奥斯汀OpenStack Summit的OpenStack网络方面功能与工具相关的技术演讲. 希望可以帮助国内的开发者.架构师和用户更好地了解OpenStack在SDN网络领域的最新发展. 功能与工具篇的视频目录: Tap-As-A-Service What You Need to Know Now Skydive, Real-Time Network Topology and Protocol Analyzer Neutron DSCP Policing yo

目前一般帐号系统,都是https来传输账户性息,申请一个https证书也不贵.但是网站的其它功能并不需要走https协议,https和http混布比较麻烦,所以决定先实现一个http协议传输RSA非对称密钥算法加密密码的方案.这样做只能说是保证不明文传密码,但是并不能防身份伪造,所以其实还是不安全的,只是目前产品能接受,算是一个过渡期吧.有需要的话还是要改成https的. 关于rsa算法,具体参考维基百科相关的介绍.简单来说,用rsa算法产生一对公钥和私钥,通信双方A和B,A用公钥加密要发送的数

一 kubeadm介绍 1.1 概述 参考<附003.Kubeadm部署Kubernetes>. 1.2 kubeadm功能 参考<附003.Kubeadm部署Kubernetes>. 二 部署规划 2.1 节点规划 节点主机名 IP 类型 运行服务 k8smaster01 172.24.8.71 Kubernetes master节点 docker.etcd.kube-apiserver.kube-scheduler.kube-controller-manager.kubectl

阅读本文大概需要 8 分钟. 来源:京东技术订阅号(ID:jingdongjishu) 作者:张sir   京东到家订单中心系统业务中,无论是外部商家的订单生产,或是内部上下游系统的依赖,订单查询的调用量都非常大,造成了订单数据读多写少的情况. 我们把订单数据存储在MySQL中,但显然只通过DB来支撑大量的查询是不可取的.同时对于一些复杂的查询,MySQL支持得不够友好,所以订单中心系统使用了Elasticsearch来承载订单查询的主要压力. Elasticsearch作为一款功能强大的分布式

MySQL用得好好的,为什么要转ES? http://developer.51cto.com/art/201911/605288.htm Elasticsearch作为一款功能强大的分布式搜索引擎,支持近实时的存储.搜索数据,在京东到家订单系统中发挥着巨大作用,目前订单中心ES集群存储数据量达到10亿个文档,日均查询量达到5亿. 作者:佚名来源:今日头条|2019-11-01 15:50 收藏 分享 京东到家订单中心系统业务中,无论是外部商家的订单生产,或是内部上下游系统的依赖,订单查询的调用量

对于普通的表格展示数据,相信大家都非常熟悉了,今天给大家介绍的是BI领域的分析利器-交叉表,这个在BI分析场景中使用占比最多的分析利器.通过交叉表对数据的承载和管理,用户可以一目了然地分析出各种场景指标以及对比,帮助用户作出决策.我们简单列举几个场景看看Quick BI的宝藏功能——交叉表吧! 场景一:多角度排序 很多时候,当我们面对大量数据时,都需要用到排序来知晓 TOP N 等场景,在这里,Quick BI的交叉表提供了两种排序方式. 1.全量排序 全量排序是直接对某个字段(维度/度量)进行