1. 基础 本文实操基于k8s 1.22.1 # 可以查看资源分配情况 kubectl describe node # 全局资源情况查看 kubectl api-resources 1.1 apply apply 命令可以使用配置文件创建资源 -f 使用yaml或json创建资源, 也是比较常用的方式 kubectl apply -f ./my1.yaml # 创建资源 kubectl apply -f ./my1.yaml -f ./my2.yaml # 使用多个文件创建 kubectl ap

多副本可以提升检索的能力,但是如果副本数量太多,插入数据的时候容易出现卡顿现象: 因为主分片要把数据同步给所有的副本,所以建议副本数量最好是1-2个: ---- Es在索引数据的时候,如果存在副本,那么主分片会将数据同时同步到副本: 如果当前插入大量数据,那么会对es集群造成一定的压力,所以在插入大量数据前,也就是在建立索引的时候,我们最好把副本数设置为0:等数据建立完索引之后,在手动的将副本数更改到2,这样可以提高数据的索引效率

我们知道,当访问量或资源需求过高时,使用:kubectl scale命令可以实现对pod的快速伸缩功能 但是我们平时工作中我们并不能提前预知访问量有多少,资源需求多少. 这就很麻烦了,总不能为了需求总是把pod设置为最多状态,这样太浪费资源:也不能当请求量上来以后再去伸缩pod,这样会有好多请求不成功. k8s既然是云原生时代的产品,当然得有智能,自动这些特性. 所以现在引入一个新的概念: HPA(Horizontal Pod Autoscaler ) pod的自动水平伸缩 有了HPA,我们就不

工作案例: 大数据开发用系统脚本自动在kafka建topic,检查后才发现副本数只有1个,存在数据丢失的风险.需要立刻把副本数改为3个. 开始干活,首先想到的是下面的命令: ${BIN_PATH}/kafka-topics.sh --zookeeper ${ZOOKEEPER_ADDR} --topic $1 --partitions $2 --alter${BIN_PATH}/kafka-topics.sh --zookeeper ${ZOOKEEPER_ADDR} --topic $1 --

搭建 Kafka:2.13-2.6.0 和 Zookeeper:3.6.2 集群 一.服务版本信息: Kafka:v2.13-2.6.0 Zookeeper:v3.6.2 Kubernetes:v1.18.4 二.制作 Zookeeper 镜像 Zookeeper 使用的是 docker hub 中提供的官方镜像,使用如下命令可以直接下载: docker pull zookeeper:3.6.2 由于官方镜像中使用的启动脚本不适用于我们公司内部使用,所以对其中的 docker-entrypoin

1.创建 Deployment root@k8-deploy:~/k8s-yaml/controllers/deployments# vim nginx-deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: name: nginx-deployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metada

Pod K8S里能够运行的最小逻辑单元,1个Pod可以运行多个容器 Pod 控制器 Pod控制器是Pod启动的一种模版,用来保证在K8S中启动的Pod始终按照人们的预期运行(副本数,生命周期.健康状态检查...) K8S中常用的Pod控制器: Deployment

hadoop修改MR的提交的代码程序的副本数 Under-Replicated Blocks的数量很多,有7万多个.hadoop fsck -blocks 检查发现有很多replica missing.而且这些丢失的replica对应的文件都是mr的程序文件. 原因:MR,hive 的程序代码上传到hdfs上,默认的副本数是10份,但集群只有4台,造成大量的 Under-Replicated Blocks 和 missing replicas. 1. 修改MR的提交的代码程序的副本数. vi m

kafka关于修改副本数和分区的数的案例实战(也可用作leader节点均衡案例) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.关于topic分区数的修改 1>.创建1分区1个的topic,名称为yinzhengjie-channel [root@node101 ~]# kafka-topics. --create --replication-factor -partitions --topic yinzhengjie-channel Created topic "

[k8s]k8s pod的4种网络模式最佳实战(externalIPs )       hostPort相当于docker run -p 8081:8080,不用创建svc,因此端口只在容器运行的vm上监听 缺点: 没法多pod负载 $ cat pod-hostport.yaml apiVersion: v1 kind: Pod metadata: name: webapp labels: app: webapp spec: containers: - name: webapp image: t

抛出问题: __consumer_offsets这个topic是由kafka自动创建的,默认50个,但是都存在一台kafka服务器上,这是不是就存在很明显的单点故障?经测试,如果将存储consumer_offsets的这台机器kill掉,所有的消费者都停止消费了.请问这个问题是怎么解决的呢? 原因分析: 由于__consumer_offsets这个用于存储offset的分区是由kafka服务器默认自动创建的,那么它在创建该分区的时候,分区数和副本数的依据是什么?分区数是固定的50,这个没什么可怀

目前我们使用的elastic版本为2.3.5 当前版本没有直接的curl操作可以更改索引的名称,索引的副本数. 有直接更改索引副本数的api. curl -XPUT "192.168.1.1:9200/test001/_settings" -d '{ "index" : { "number_of_replicas" : 2 } }' 但是,我们可以通过elastic的快照功能来实现以上两种操作. 1.索引重命名 1.0 准备工作:停止对目标索引做

elasticsearch6设置索引的默认分片数和副本数已经不是在elasticsearch.yml文件中了,而是使用了一个索引模板的东西 curl -XPUT 'http://10.27.12.16:9200/_template/template_http_request_record' -H 'Content-Type: application/json' -d '{"index_patterns": ["record_*"],"settings&qu

日志是从logstash传输给ES的,但是logstash配置中只能配置host和index,所以只能在es中进行配置 但是在es配置文件中配置,也就是新增如下参数的话会报错:node settings must not contain any index level settings index.number_of_shards: 1 index.number_of_replicas: 0 所以采用索引模板的方式进行设置 POST /_templates/index_patterns { "o

一.k8s pod 在节点间调度控制 k8s起pod时,会通过调度器scheduler选择某个节点完成调度,选择在某个节点上完成pod创建.当需要在指定pod运行在某个节点上时,可以通过以下几种方式: 1. 在部署pod的yaml中,指定nodeName 指定了nodeName的Pod会直接跳过Scheduler的调度逻辑,直接写入PodList列表,该匹配规则是强制匹配.eg:apiVersion: extensions/v1beta1kind: Deploymentmetadata: nam

检查集群健康状态,可以看集群颜色.(黄色:primary shard都正常,replica不正常) GET /_cat/health?v 列出集群所有index GET /_cat/indices?v GET _cluster/health PUT一条数据:如果指定文档不存在则创建,存在则全量替换.如果索引类型不存在,则自动创建索引.类型 PUT /beauties/cn/1 { "Name":"Zhao Liying", "Age":20, &

其实我现在才知道linux系统对于用户权限管理比较严,在ubuntu下系统不允许root权限的用户进入图像界面系统.由于之前没弄过权限这个东西瞬间掉坑了了. 我是想修改一下root下的nginx.conf那个文件,但是我没有权限所以想一劳永逸的解决这个问题所以就想到了该用户权限的为题. 我改的步骤是这样都: (1)先在终端中进入root用户:sudo su (2) 然后设置root密码:passwd root , 输入root密码,确认root密码. (3)在终端中输入命令:sudo gedit

一.使用 setrep 命令来设置 # 设置 /javafx-src.zip 的文件块只存三份 hadoop fs -setrep /javafx-src.zip 二.文件块在磁盘上的路径 # 设置的 hdfs 目录为/opt/hadoop-tmp/ # hdfs 文件块的路径为 /opt/hadoop-tmp/dfs/data/current/BP-362764591-192.168.8.136-1554970906073/current/finalized/subdir0/subdir0 三

package com.slp.hdfs; import org.apache.commons.io.output.ByteArrayOutputStream; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.F

一个文件,上传到hdfs上时指定的是几个副本就是几个.修改了副本数(dfs.replications),对已经上传了的文件也不会起作用.当然可以在上传文件的同时指定创建的副本数hadoop dfs -D dfs.replication=2 -put abc.txt /tmp可以通过命令来更改已经上传的文件的副本数:hadoop fs -setrep -R 2 / 查看当前hdfs的副本数hadoop fsck -locations某个文件的副本数,可以通过ls中的文件描述符看到hadoop df

题目链接:http://www.lydsy.com/JudgeOnline/problem.php?id=1579 题意: 给你一个无向图,n个点,m条边,每条边有边权w[i]. 你可以将其中的k(k <= 20)条边的边权改为0. 问你从1到n的最短路. 题解: dis[i][j]表示到达i点,已经改了j次边权,此时的最短路. 相当于将原图复制成了k层,每改变一次,就向下走一层. 两种情况(如果可以变优): (1)不用变0技能:转移到dis[dest][j] = dis[now][j] + l