写代码有时候和笃信宗教一样,一旦信仰崩溃,是最难受的事情.早年我读过云风的一篇<VC 对 memcpy 的优化>,以及<Efficiency geek 2: copying data in C/C++, optimisation>,所以我是坚信很难能写出比C运行时库更快的memcpy的.但最近有两个事情,让我对这个坚信产生了怀疑. 第一个个是最近在看lz4的代码,lz4可能是目前最快的内存压缩算法,部分评测他比snappy还要快点(lz4的实现后面专文剖析).研究他的代码,发现他其

使用tar+lz4/pigz+ssh更快的数据传输 -- | :41分类:Linux,MySQL | 前面一篇介绍了如何最大限度的榨取SCP的传输速度,有了这个基础,就可以进一步的使用压缩来加速传输速度了.只使用scp,传输速率最快约90MB,本文通过压缩将把最快传输速率提升到约250MB/s(包括解压的过程). 目录 [hide] . 结论 . 关于lz4 . 性能环境说明 3.1 磁盘读取和落盘 3.2 打包.拆包 3.3 压缩.解压缩 3.4 传输 3.5 整体流程 . 实验测试 4.1

//Linux字符串函数集: 头文件:string.h 函数名: strstr 函数原型:extern char *strstr(char *str1, char *str2); 功能:找出str2字符串在str1字符串中第一次出现的位置(不包括str2的串结束符). 返回值:返回该位置的指针,如找不到,返回空指针. 包含文件:string.h 函数名: strstr 函数原型:extern char *strstr(char *str1, char *str2); 功能:找出str2字符串在s

转载地址:http://www.10tiao.com/html/473/201606/2651473094/1.html   程序的CPU问题是另外一类典型的程序性能问题,很多开发人员都受到过程序CPU占用过高的困扰.本次我们收集了14个CPU类的问题,和大家一起分析下这些问题的种类和原因.另外,对于C/C++程序而言,目前已经有了很多CPU问题定位的工具,本文也会进行比较分析. CPU问题分析   程序CPU类问题的主要现象是:程序占用的CPU过高,比程序升级前有很大的升高.导致程序CPU占用

Author:Echo Chen(陈斌) Email:chenb19870707@gmail.com Blog:Blog.csdn.net/chen19870707 Date:September 30th, 2014 时间荏苒.转眼间已经做游戏一年了,第一款卡牌游戏<完美神话>也已经測试上线了.十一之后開始推广渠道.这一年经历了无数次崩服.回档.卡顿后.如今server最终基本稳定.对于程序猿来说出问题是个好事情,仅仅有在问题面前才干高速成长. 在这里把这一年在server瓶颈中所入的坑做一个

通过https://www.cnblogs.com/tree1123/p/11243668.html 已经对consumer有了一定的了解.producer比consumer要简单一些. 一.旧版本producer 0.9.0.0版本以前,是由scala编写的旧版本producer. 入口类:kafka.producer.Producer 代码示例: Properties properties = new Properties(); properties.put("metadata.broker

通过https://www.cnblogs.com/tree1123/p/11243668.html 已经对consumer有了一定的了解.producer比consumer要简单一些. 一.旧版本producer 0.9.0.0版本以前,是由scala编写的旧版本producer. 入口类:kafka.producer.Producer 代码示例: Properties properties = new Properties(); properties.put("metadata.broker

一.前言 任何消息队列都是万变不离其宗都是3部分,消息生产者(Producer).消息消费者(Consumer)和服务载体(在Kafka中用Broker指代).那么本篇主要讲解Producer端,会有适当的图解帮助理解底层原理. 一.开发应用 首先介绍一下开发应用,如何构建一个KafkaProducer及使用,还有一些重要参数的简介. 1.1 一个栗子 /** * Kafka Producer Demo实例类. * * @author GrimMjx */ public class Produc

不废话,看代码: #include <time.h> #include <stdint.h> #include <iostream> #define ARR_LEN 10 #define CAL_TIMES 100000000 int64_t a[ARR_LEN]; int64_t b[ARR_LEN]; int main() { for (size_t i(0); i < ARR_LEN; ++ i) a[i] = i; clock_t s1 = clock()

背景: 继上次介绍 初识 MySQL 5.6 新功能.参数完之后,刚好MySQL 5.7又GA了,在官方测试里看到,MySQL5.7在功能.性能.可用性.安全和监控上又提升了很高.现在看看和MySQL5.6对比,之前介绍了新增配置参数和安全相关特性.本文来说明MySQL5.7关于功能和性能提升的方面(持续更新). 1,功能性能上的提升 1.1:复制功能的提升. ①支持并行复制.slave-parallel-type 5.6开始支持基于库(database)的并行复制,对于只有一个库的,效果不好.

网上有说memcpy是C语言写的,没有异常处理机制. 但是貌似SEH可以处理. SEH("Structured Exception Handling"),即结构化异常处理·是(windows)操作系统提供给程序设计者的强有力的处理程序错误或异常的武器. 在VS2010编译器中,项目属性->C++->代码生成->启用C++异常  设置为:有,但有SEH异常(/EHa) 以下文字来自:http://www.cppblog.com/mzty/archive/2006/09/

转自:http://blog.csdn.net/truexf/article/details/17303263 一.vector vector采用一段连续的内存来存储其元素,向vector添加元素的时候,如果容量不足,vector便会重新malloc一段更大的内存,然后把原内存中的数据memcpy到新的内存中,并free原内存块,然后将新元素加入.vector的元素插入性能跟以下几个要素关系重大: 1. 插入的位置 头部插入:将所有元素后移,然后将新元素插入 中间插入:将插入点后面的元素后移,然

快速传输大数据(tar+lz4+pv)   如果用传统SCP远程拷贝,速度是比较慢的.现在采用lz4压缩传输.LZ4是一个非常快的无损压缩算法,压缩速度在单核300MB/S,可扩展支持多核CPU.它还具有一个非常快速的解码器,速度单核可达到和超越1GB/S.通常能够达到多核系统上的RAM速度限制. 你PV 全命为Pipe Viewer,利用它我们可以查看到命令执行的进度. 下面介绍下lz4和pv的安装,下载软件: 下载pv-1.1.4.tar.gz wget http://sourceforge

构建现代的服务器应用程序需要以某种方法同时接收数百.数千甚至数万个事件,无论它们是内部请求还是网络连接,都要有效地处理它们的操作. 有许多解决方案,但事件驱动也被广泛应用到网络编程中.并大规模部署在高连接数高吞吐量的服务器程序中,如 http 服务器程序.ftp 服务器程序等.相比于传统的网络编程方式,事件驱动能够极大的降低资源占用,增大服务接待能力,并提高网络传输效率. 这些事件驱动模型中, libevent 库和 libev库能够大大提高性能和事件处理能力.在本文中,我们要讨论在 UNIX/

2.3 归并排序 接口定义: int merge(void* data, int esize, int lpos, int dpos, int rpos, int (*compare)(const void* key1, const void* key2)); 返回值:成功 0:失败 -1. int merge_sort(void* data, int size, int esize, int lpos, int rpos, int (*compare)(const void* key1, co

性能计数器(counter)是描述服务器或操作系统性能的一些数据指标.计数器在性能测试中发挥着“监控和分析”的关键作用,尤其是在分析系统的可扩展性.进行性能瓶颈的定位时,对计数器的取值的分析非常关键.但必须说明的是,单一的性能计数器只能体现系统性能的某一个方面,对性能测试结果的分析必须基于多个不同的计数器. 与性能计数器相关的另一个术语是“资源利用率”.该术语指的是系统各种资源的使用状况.为了方便比较,一般用“资源的实际使用/总的资源可用量”形成资源利用率的数据,用以进行各种资源使用的比较. 性

本文转自:http://blog.csdn.net/innost/article/details/9008691 在软件开发过程中,想必很多读者都遇到过系统性能问题.而解决系统性能问题的几个主要步骤是: 测评:对系统进行大量有针对性的测试,以得到合适的测试数据. 分析系统瓶颈:分析测试数据,找到其中的hotspot(热点,即bottleneck). 性能优化:对hotspot相关的代码进行优化. 由上述步骤可知,性能优化的目标对象是hotspot.如果找到的hotspot并非真正的热点,则性能优

有这样一个网络传输包. 前端有个固定的包头,包含了后面传输body的长度信息. 在有拷贝的前提下,我们选用什么性能比较高呢?         方案一         复用data_buffer string 将Header 头insert到data_buffer中,将大量的字符串后移定长.         方案二         将Header外化一个string,然后调用append函数,将data_buffer的字符拷贝到head的string中去.         方案三        

背景 HHVM 是 Facebook 开发的高性能 PHP 虚拟机,宣称比官方的快9倍,我很好奇,于是抽空简单了解了一下,并整理出这篇文章,希望能回答清楚两方面的问题: HHVM 到底靠谱么?是否可以用到产品中? 它为什么比官方的 PHP 快很多?到底是如何优化的? 你会怎么做? 在讨论 HHVM 实现原理前,我们先设身处地想想:假设你有个 PHP 写的网站遇到了性能问题,经分析后发现很大一部分资源就耗在 PHP 上,这时你会怎么优化 PHP 性能? 比如可以有以下几种方式: 方案1,迁移到性能

部分参考: http://www.cppblog.com/kang/archive/2009/04/05/78984.html 表头文件: #include <string.h>定义函数: void *memcpy(void *dest, const void *src, size_t n)函数说明: memcpy()用来拷贝src所指的内存内容前n个字节到dest所指的内存地址上.与strcpy()不同的是,memcpy()会完整的复制n个字节,不会因为遇到字符串结束'\0'而结束 strc