一.概念 Intel® DPDK全称Intel Data Plane Development Kit,是intel提供的数据平面开发工具集,为Intel architecture(IA)处理器架构下用户空间高效的数据包处理提供库函数和驱动的支持,它不同于Linux系统以通用性设计为目的,而是专注于网络应用中数据包的高性能处理.目前已经验证可以运行在大多数Linux操作系统上.DPDK使用了BSDLicense,极大的方便了企业在其基础上来实现自己的协议栈或者应用.目前出现了很多基于 dpdk 的

这次主要是测试在dpdk方案下,ineedle的处理包的性能. 发包工具: 使用立永当时写的一个发包工具:linux_pcap 做法:大概是从网上抓取了一些数据包,将源ip替换为随即ip,sip替换为要监控的ip地址.然后用pcap工具进行发包 设备:这次发包工具运行在测试机上,也就是这次跑ineedle的DELLR430设备,用em2端口发包,用p1p4接口来接收包. 注意:要打开网卡的混杂模式. 说明:这个设备性能比较好,发包正常的包最大速度能够达到:75M/s.单包发送(排除IO干扰)情况

15. 其他存储引擎 15. 其他存储引擎 15.1 设置存储引擎 15.2 MyISAM存储引擎 15.2.1 MyISAM启动选项 15.2.2 Key的空间要求 15.2.3 MyISAM表存储格式 15.2.3.1 静态表特性 15.2.3.2 动态表特性 15.2.3.3 压缩表特性 15.2.4 MyISAM表问题 15.2.4.1 MyISAM表损坏 15.2.4.2 表没有被正确关闭 15.3 MEMORY存储引擎 15.3.1 性能特点 15.3.2 MEMORY表的物理特性

环境: 这里参考官方使用一台服务器:Centos 7  redis-5.0.4    192.168.10.10 redis集群cluster最少要3个主节点,所以本次需要创建6个实例:3个主节点,3个从节点. 1.创建cluster工作目录 [root@localhost ~]# mkdir -p /opt/redis-5.0.4/cluster-test/{7000,7001,7002,7003,7004,7005} 2.创建cluster的配置文件 [root@localhost ~]#

主从配置需要注意的点 (1)主从服务器操作系统版本和位数一致: (2) Master和Slave数据库的版本要一致: (3) Master和Slave数据库中的数据要一致: (4) Master开启二进制日志,Master和Slave的server_id在局域网内必须唯一: 主从配置的简要步骤 1.Master上的配置 (1) 安装数据库: (2) 修改数据库配置文件,指明server_id,开启二进制日志(log-bin): (3) 启动数据库,查看当前是哪个日志,position号是多少:

接续前节:[dpdk] 熟悉SDK与初步使用 (一)(qemu搭建实验环境) 程序逻辑: 运行参数: 关键API: 入口函数: int rte_eal_init(int argc, char **argv) 内存池函数: rte_pktmbuf_pool_create.  它是函数 rte_mempool_create 的一个封装. struct rte_mempool * rte_pktmbuf_pool_create(const char *name, unsigned n, unsigne

对例子IP Fragmentation的熟悉,使用,以及源码分析. 功能: 该例子的功能有二: 一: 将IP分片? 二: 根据路由表,做包转发. 路由表如下: IP_FRAG: Socket : adding route (port ) IP_FRAG: Socket : adding route (port ) IP_FRAG: Socket : adding route (port ) IP_FRAG: Socket : adding route (port ) IP_FRAG: Socke

主从复制过滤: 配置文件中的[mysqld]块中: master:(考虑到即时点还原一般不在主过滤) binlog_do_db= #数据库白名单 binlog_ignore_db= #数据库白名单 slave: 基于库: replicate_do_db= replicate_ignore_db= 基于表: replicate_do_table= db_name.table_name replicate_do_table= db_name.table_name 过滤功能看似很好使用,实际中可以存在

很久没有更新博客了,主要是公司事情比较多,最近终于闲下来了.然而5.7也GA了,有许多新的特性,其中现在可以进行在线设置复制过滤了.但是还是得停复制,不过不用重启实例了.方便了DBA们进行临时性的调整.下面就简单的测试一下.MySQL 5.7的安装有了很大的变化,我主要是安装的二进制版本.关于如何安装以及如何搭建好复制这种小事,相信聪明的你可以很快搞定.安装请参考http://dev.mysql.com/doc/refman/5.7/en/binary-installation.html 下面进

DPDK通过在多核设备上,创建多个线程,每个线程绑定到单独的核上,减少线程调度的开销,以提高性能. DPDK的线程分为控制线程和数据线程,控制线程一般绑定到MASTER核上,主要是接受用户配置,并传递配置参数给数据线程等:数据线程主要是处理数据包. 一.初始化 1.rte_eal_cpu_init()函数中,通过读取/sys/devices/system/cpu/cpuX/下的相关信息,确定当前系统有哪些CPU核,已经每个核属于哪个CPU Socket. 2.eal_parse_args()函数

1 复制概述 Mysql内建的复制功能是构建大型,高性能应用程序的基础.将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的.复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器.主服务器将更新写入二进制日志文件,并维护文件的一个索引以跟踪日志循环.这些日志可以记录发送到从服务器的更新.当一个从服务器连接主服务器时,它通知主服务器从服务器在日志中读取的最后一次成功更新的位置.从服务器接收

1 .复制 Mysql内建的复制功能是构建大型,高性能应用程序的基础.将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的 数据复制到其它主机(slaves)上,并重新执行一遍来实现的.复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器.主服务器将更 新写入二进制日志文件,并维护文件的一个索引以跟踪日志循环.这些日志可以记录发送到从服务器的更新.当一个从服务器连接主服务器时,它通知主服务器从服 务器在日志中读取的最后一次成功更新的位置.从服务器

关于主从过滤,建议只在从服务器做设定,在Master 端为保证二进制日志的完整, 不建议使用二进制日志过滤. Master 可用参数: binlog-do-db= #定义白名单,仅将制定数据库的相关操作记入二进制日志.如果主数据库崩溃,那么仅仅之恢复指定数据库的内容,不建议在主服务器端使用,这样导致日志不完整. binlog-ignore-db= #定义黑名单, 定义ignore 的库上发生的写操作将不会记录到二进制日志中 Slave 可用参数: replicate_do_db= #复制的白名单

本文主体内容译于[DPDK社区文档],但并没有逐字翻译,在原文的基础上进行了一些调整,增加了对TSS分类器的详细阐述. 1. 概览 本文描述了OVS+DPDK中的包分类器(datapath classifier -- aka dpcls)的设计与实现思路.本文的内容主要牵涉到分类器对封包流的分类及缓存技术,并且对于一些典型场景下的细节给予解释说明. 虚拟交换机与传统硬件交换机的差别较大.硬件交换机通常都使用TCAM以求高效率的包分类与转发.而虚拟交换机由于自身是纯软件实现,不能依靠特殊的硬件设计

发现了一个工具 dpdk-pmdinfo 但是文档介绍的很不清楚, http://dpdk.org/doc/guides/tools/pmdinfo.html 经过摸索, 这可能就是一个查询 dpdk程序都支持那些硬件设备的工具, 用法如下: [root@dpdk tools]# ./dpdk-pmdinfo.py /anthropoid/daemon/chimpanzee 其中, 参数就是你编译了dpdk进去的二进制可执行文件, (ELF文件), 注意, 点a 文件, 并不是ELF文件, 点s

 复制的过滤主要有2种方式: 在主服务器在把事件从进二制日志中过滤掉,相关的参数是:binlog_do_db和binlog_ignore_db. 在从服务器上把事件从中继日志中过滤掉,相关的参数是replicate_*. 复制只能扩展读取,不能扩展写入,对数据进行分区可以进行扩展写入. 复制的优化: 在mysql复制环境中,有8个参数可以让我们控制,需要复制或需要忽略不进行复制的DB或table分别为: 下面二项需要在Master上设置: Binlog_Do_DB:设定哪些数据库需要记录Binl

转自 MySQL 5.7在线设置复制过滤 - yayun - 博客园 https://www.cnblogs.com/gomysql/p/4991197.html 5.7也GA了,有许多新的特性,其中现在可以进行在线设置复制过滤了.但是还是得停复制,不过不用重启实例了.方便了DBA们进行临时性的调整.下面就简单的测试一下.MySQL 5.7的安装有了很大的变化,我主要是安装的二进制版本.关于如何安装以及如何搭建好复制这种小事,相信聪明的你可以很快搞定.安装请参考http://dev.mysql.

main.c /* SPDX-License-Identifier: BSD-3-Clause * Copyright(c) 2010-2016 Intel Corporation */ #include <stdio.h> #include <getopt.h> #include <rte_common.h> #include <rte_eal.h> #include <rte_malloc.h> #include <rte_mempoo

代码部分 main.c /*- * BSD LICENSE * * Copyright 2017 Mellanox. * * Redistribution and use in source and binary forms, with or without * modification, are permitted provided that the following conditions * are met: * * * Redistributions of source code mus

最近经常有收到MySQL实例类似内存不足的报警信息,登陆到服务器上一看发现MySQL 吃掉了99%的内存,God ! 有时候没有及时处理,内核就会自己帮我们重启下MySQL,然后我们就可以看到 dmesg 信息有如下记录: Mar 9 11:29:16 xxxxxx kernel: mysqld invoked oom-killer: gfp_mask=0x201da, order=0, oom_adj=0, oom_score_adj=0Mar 9 11:29:16 xxxxxx kernel