数据库中直接存储UUID的坏处: 完全‘随机’的字符串,例如由MD5().SHA1().UUID()产生的.它们产生的每一个新值都会被任意地保存在很大的空间范围内, 这会减慢INSERT及一些SELECT查询. 1)它们会减慢INSERT查询,因为插入的值会被随机地放入索引中.这会导致分页.随机磁盘访问及聚集存储引擎上的聚集索引碎片. 2)它们会减慢SELECT查询,因为逻辑上相邻的行会分布在磁盘和内存中的各个地方. 3)随机值导致缓存对所有类型的查询性能都很差,因为它们会使缓存赖以工作的访问局

Math.random()和UUID.randomUUID().toString()性能对比 不言而喻,因为Math.random()不需要保证唯一性,所做的操作远比UUID消耗更小的性能, 在部分要求不严格的场景,通过Math.random()和其它业务唯一码仍能方便定位某条数据,此时就可以考虑使用Math.random(). 压测代码如下: package test; import java.util.UUID; public class Test { public static void

查找前十条性能差的sql. SELECT * FROM (select PARSING_USER_ID,EXECUTIONS,SORTS, COMMAND_TYPE,DISK_READS,sql_text FROM v$sqlarea ; 查看占io较大的正在运行的session SELECT se.sid,se.serial#,pr.SPID,se.username,se.status, se.terminal,se.program,se.MODULE,se.sql_address,st.ev

ETLDB性能差(HIS转储200万门诊处方zjysb012) 解决方法: 1.禁用cdc.Hismz_capture 2.停止cdc.Hismz_capture 3.关闭zjysb012,zjysb012 CDC功能 4.启用cdc.Hismz_capture 5.开始:cdc.Hismz_capture 6.开启zjysb012,zjysb012 CDC功能 7.手工执行zjysb012  表的更新操作产生新的cdc,进行自动补录三天数据 (命令:Update zjysb012   set

使用Django.core.cache操作Memcached导致性能不稳定的分析过程 最近测试一项目,用到了Nginx缓存服务,那可真是快啊!2Gb带宽都轻易耗尽. 不过Api接口无法简单使用Nginx缓存,使用Memcached作二级缓存.但发现性能非常之不稳定,最终发现问题出在Memcached上.大压力时Memcached无法连接,即使使用Telnet也连接超时/连接被拒绝. 与开发沟通后发现用的django.core.cache操作Memcached,于是要求使用其它库取代,选中pyth

故事是这样的: 我在对MySQL进行性能测试时,发现CPU使用率接近100%,其中80%us, 16%sys,3%wa,iostat发现磁盘iops2000以下,avgqu-sz不超过3,%util最高70%,看来瓶颈不在磁盘IO上面,而在CPU上.sys部分使用率有点高. 于是我果断使用perf top查看,赫然排在前面的2个,是my_ismbchar_utf8mb4和my_charpos_mb. my_ismbchar_utf8mb4顾名思义,很明显是与字符集相关的:my_charpos_m

1.因为挂载磁盘uuid错误导致,而系统在启动的时候,会读取fstab文件.来加载预设的硬盘到指定的分区目录,但读取到需要挂载的UUID的磁盘不存在,中断文件的读取,然后提示文件系统错误,不能解析UUID 故障提示信息如下: 2.处理步骤a.系统提示输入密码进入shell,当我们输入后进入到shell界面,而此时的shell是属于read-only的单用户模式 2.提权及重新加载目录 需要使用su root提权,然后用mount / -o remount (或者 mount -no remoun

几天前,我在论坛上发了一篇关于Optional 的文章.其中一条评论是一个非常好的问题: Optional 的使用会导致性能下降吗? 答案是: 是的,它会的.但是你应该担心吗? 使用Optional的好处 Optional 类使我们这些开发人员的生活更轻松 增加代码的可读性 减少代码中的条件数 更不容易出错 让我们来看看 Optional 类的一些主要方法是如何实现的. Optional 如何实现的? 这里有一些 Optional 类的主要方法: 基本上,它将值包装到一个新的 Optional对

开发人员遇到一个及其诡异的的SQL性能问题,这段完整SQL语句如下所示: declare @UserId             INT declare @PSANo              VARCHAR(200) declare @ShipMode           VARCHAR(10) declare @CY_FLAG            VARCHAR(1) declare @PO                 VARCHAR(20) declare @BuyerName   

在没遇到这个问题之前,我对JVM的解释模式与编译模式的代码性能相差有多大,是没有感觉的,只是觉得编译模式会比解释模式性能好那么一点点吧. 但是经历过这次以后,让我对JVM的即时编译产生了兴趣.先来看看这个问题的背景: 大概是4年前,我的团队里有一个PM找我说他们遇到一个很奇怪的问题,在性能测试的时候,有几个不同的测试场景混合在一起进行压力测试,有时会出现测试几十几分钟以后性能会下降的很厉害,一旦出现性能下降以后,性能再也回不到刚开始测试的水平.奇怪的是:它不是必现的,而且如果只是某1个或者2个场

几乎所有的程序员在初学编程之时,都被灌输过"托管语言(Java.C#)性能比非托管语言(C.C++)差好多" 的迷信教条.如果你问他们为什么,他们一定会说:托管语言需要通过虚拟机或JIT编译器对中间语言进行解释,会耗费更多的内存和CPU运算时间,而非托管语言则会被直接编译成本地代码,可以直接运行,省去了大量运算. 那么,事实真的是这个样子吗?当然不是! 持以上论调的程序员一般分两类:一类是用C.C++起家的工程师,他们从来没有用过托管语言,也没有深入了解过相关原理,对托管语言的运行机制

阅读本文大概需要 6 分钟. 一.什么影响了数据库查询速度 1.1 影响数据库查询速度的四个因素 1.2 风险分析 QPS: QueriesPerSecond意思是“每秒查询率”,是一台服务器每秒能够相应的查询次数,是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准. TPS: 是 TransactionsPerSecond的缩写,也就是事务数/秒.它是软件测试结果的测量单位.客户机在发送请求时开始计时,收到服务器响应后结束计时,以此来计算使用的时间和完成的事务个数. Tips: 最好

前阵子,突然收到服务器的报警信息,于是上服务器找问题,我擦,top看到mysql占的%cpu高得把我吓尿了 从以上的信息看,相信大家已经可以定位到底是那个程序导致服务器CPU负载过高了,但我们要做的是,找出mysql进程下,是什么动作导致服务器出现性能问题 以下做个实验,相信大家看了后也能猜到当时是什么导致高负载的,废话不多说: 表结构如下: mysql> desc test1; +---------+-------------+------+-----+---------+----------

一.什么影响了数据库查询速度 1.1 影响数据库查询速度的四个因素 1.2 风险分析 QPS: QueriesPerSecond意思是“每秒查询率”,是一台服务器每秒能够相应的查询次数,是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准. TPS: 是 TransactionsPerSecond的缩写,也就是事务数/秒.它是软件测试结果的测量单位.客户机在发送请求时开始计时,收到服务器响应后结束计时,以此来计算使用的时间和完成的事务个数. Tips: 最好不要在主库上数据库备份,大型活

目录 场景 思路 解决过程 提升虚拟机配置 直连交换机 最终解决方案 总结 场景 有同事从公司寄了一台服务器到现场,用来安装数据库.缓存等组件供开发使用.到了之后,连接电源.网线,设置IP,用vSphere Client远程连接没问题.开了两个虚拟机,给他们远程用.大概就是创建几个虚拟机,安装一整套的管理平台和组件.等到晚上,跟我说很卡,服务器上的应用网页总是打不开,让我用本机帮他们弄一下,结果我这边也一直打不开,然后ping了一下,发现延迟很高,丢包也很严重. 思路 怀疑有两种可能: 虚拟机压

Java技术栈 ,一般把连接数设置得大一些). 并发量:同一时刻数据库服务器处理的请求数量 3.超高的 CPU使用率:CPU资源耗尽出现宕机. 4.磁盘 IO:磁盘 IO性能突然下降.大量消耗磁盘性能的计划任务.解决:更快磁盘设备.调整计划任务.做好磁盘维护. 1.3 网卡流量:如何避免无法连接数据库的情况 1.减少从服务器的数量(从服务器会从主服务器复制日志) 2.进行分级缓存(避免前端大量缓存失效) 3.避免使用 select 进行查询 4.分离业务网络和服务器网络 1.4 大表带来的问题(

一.粉丝的反馈 问:stream比for循环慢5倍,用这个是为了啥? 答:互联网是一个新闻泛滥的时代,三人成虎,以假乱真的事情时候发生.作为一个技术开发者,要自己去动手去做,不要人云亦云. 的确,这位粉丝说的这篇文章我也看过,我就不贴地址了,也没必要给他带流量.怎么说呢?就是一个不懂得测试的.不入流开发工程师做的性能测试,给出了一个危言耸听的结论. 二.所有性能测试结论都是片面的 性能测试是必要的,但针对性能测试的结果,永远要持怀疑态度.为什么这么说? 性能测试脱离业务场景就是片面的性能测试.你

年后一次系统升级后,监控数据库的工具DPA发现数据库的Total Wait时间突然飙增,如下截图所示,数据库的总体等待时间对比升级前飙增了非常多 另外就是发现出现了较多的等待事件,主要有latch: cache buffers chains. latch: shared pool .db file scattered read.根据这边的监控发现TOP SQL里面从升级前的0次变为了一天的一万多次(有些甚至更多),分析过后我们就找开发人员了解一下系统升级变跟的内容和改动 开发人员坚定的告诉们介绍

设置了Azkaban调度是每日凌晨一次,如下: 但是调度历史上显示最近一次调度时间是 初步怀疑是因为时区问题导致,查看服务器时区如下 cat /etc/timezone 为Asia/Shanghai. 再查看Azkanban配置文件azkaban.properties发现如下: default.timezone.id=America/Los_Angeles改为default.timezone.id=Asia/Shanghai成功解决 但是已经添加的Scheduler需要重新添加一次

1. 问题背景 在我的力推下,部门业务开发转向ABP,其中ORM采用的是EntityFrameworkCore. 然而,在数据查询方面,出现了重大的性能问题... 请看代码: //在一个百万数据量的表中分页获取十条数据居然花了180ms左右,简直不能忍. var entityList = await query .PageBy(input) //这是个字符串:MonthCode desc .OrderBy(input.Sorting) .ToListAsync(); 这是很常见的Abp示例项目中

场景: 拿到了客户50个文件,平均每个文件大概40M左右的txt,文件在S3上,需要导入到数据库,40M解析出来大概是80W条左右的数据. 描述: 在刚开始执行导入时,因为数据验证复杂程度不同,每个文件耗时大概6到9分钟,执行到第20个文件之后,效率明显变低,执行到第 35个文件时free查看内存使用情况used已经占用到了15G(服务器内存16G),发现cached非常之高竟然有13G之多. 解决: 因为每个文件用过之后就不会再用,实际上缓存了文件对于目前的场景来说并没有什么实质性帮助,反而会