HDFS集群优化篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.操作系统级别优化 1>.优化文件系统(推荐使用EXT4和XFS文件系统,相比较而言,更推荐后者,因为XFS已经帮我们做了大量的优化.为服务器存储目录挂载时添加noatime属性) 2>.预读缓冲 预读技术可以有效的减少磁盘寻道次数和应用的I/O等待时间,增加Linux文件系统预读缓冲区的大小(默认为256 sectors,128KB),可以明显提高顺序文件的读性能,建议调整到1024或2048 secto

简介 LVM是 Logical Volume Manager(逻辑卷管理)的简写,它是Linux环境下对磁盘分区进行管理的一种机制,它由Heinz Mauelshagen在Linux 2.4内核上实现. 物理存储介质(PhysicalStorageMedia) 指系统的物理存储设备:磁盘,如:/dev/hda./dev/sda等,是存储系统最底层的存储单元. 物理卷(Physical Volume,PV) 指磁盘分区或从逻辑上与磁盘分区具有同样功能的设备(如RAID),是LVM的基本存储逻辑块,

3. fdisk分区 3.1 fdisk命令分区过程 (1)添加新硬盘 (2)查看新硬盘#fdisk –l (3)使用fdisk命令分区:#fdisk /dev/sdb Fdisk交互指令说明 命令 说明 a 设置可引导标记 b 编辑bsd磁盘标签 c 设置DOS操作系统兼容标记 d 删除一个分区 l 显示己知的文件系统类型.82为linux swap,83为linux分区 m 显示帮助菜单 n 新建分区 o 建立空白DOS分区表 p 显示分区列表 q 不保存退出 s 新建空白SUN磁盘标签 t

前言 前段时间在用程序对较大数据进行处理时,发现自己电脑原有内存不够用而经常行卡死,于是想到了利用swap分区来扩容内存的方式.现在做一个简要的总结: swap分区的概念 初试swap分区是在进入实验室安装linux系统的时候,当时并不了解该分区,只是参看师哥们的笔记进行设置.但是swap分区到底是干嘛用的? windows里面没有该分区么?有设置的必要性么? 一般来讲,swap分区可以提高linux系统性能swap分区是在硬盘空间中开辟一块区域,用来存放内存溢出来的数据.比如将内存想象成一个杯

因为准备在linux上面安装Oracle数据库,据说swap分区小于4G容易失败,天啦噜的我连swap分区是啥都不是非常清楚, 大概有个印象吧,但先搞大了再说. 测试证明Ubuntu14默认的swap分区是和初期设定的内存大小一样一样的. 最初因为手速过快,不小心把内存设成了默认的1G,后来改成了3G,现在发现swap分区居然只有小小的1G, 反正硬盘地方大,再赏你4G又何妨. 顺便说一句,swap 查看方式 free   OK,上网查教程,然后实施测试 dd if=/dev/zero of=/

默认情况下,Windows Azure上的Linux VM是没有Swap分区的.下面我们以Ubuntu为例,为Windows Azure上的Linux虚拟机创建Swap分区. Windows Azure会为每个虚拟机分配一个临时盘,这个临时盘在Windows Server操作系统中是[D:]盘,在Linux中是/dev/sdb1.值得一提的是,在D系列的虚拟机中,临时盘是SSD存储.显然,临时盘是创建Swap分区的好地方.既然是临时盘,就千万不要把应用和数据存储在上面,否则数据丢了就只能自己哭了

个人电脑配置:500G机械硬盘+16G NGFF SSD+8G Physical Memory 之前安装Ubuntu16.04,默认装到NGFF的SSD里,/和swap分区一共才16G,于是删除swap分区,发现开机速度奇慢无比,即便将swappiness设为0依旧,so需要在机械硬盘上重新划分一块swap分区. 注意,由于MBR分区系统最多只能有4块primary分区,因此建议先在磁盘末尾划出一块比较大的Extend分区,便于以后使用. ①在Extend分区划出一块Logical分区 ②sud

1.使用dd命令创建一个swap交换文件 dd if=/dev/zero of=/home/swap bs=1024 count=1024000 2.制作为swap格式文件: mkswap /home/swap 3.再用swapon命令把这个文件分区挂载swap分区 /sbin/swapon /home/swap 4.为防止重启后swap分区变成0,要修改/etc/fstab文件 vi /etc/fstab 在文件末尾(最后一行)加上: /home/swap swap swap default

转自:http://blog.chinaunix.net/uid-7573623-id-2048964.html 由于安装oracle 的时候,swap太小不能继续安装,于是想有什么方法在不不用安装os的情况下实现swap更改大小.   于是有以下: 以下操作需要root权限. #cd /usr/;mkdir swap #dd if=/dev/zero of=swapfile bs=1G count=2 这条命令从硬盘里分出一个 2×1G 大小的空间,挂在swapfile上. #mkswap s

使用dd命令创建一个swap分区 [root@localhost Desktop]#dd if=/dev/zero of=/home/swap bs=1024 count=1048576 count的计算公式: count=SIZE*1024  (size以MB为单位)这样就建立一个/home/swap的分区文件,大小为1G,接着需要格式化新建的SWAP分区: [root@localhost Desktop]# mkswap /home/swap 再用swapon命令把这个文件分区变成swap分

阿铭linux学习笔记之swap分区 一.作用: swap分区是交换分区,在系统物理内存不足时与swap进行交换,对web服务器的性能影响极大,通过调整swap分区大小来提升服务器的性能,节省资源费用. 二.步骤: 1.先创建一个swap文件 命令如下: dd  if=/dev/zero of=/tmp/swap bs=1024k count=1000 查看现在的系统内存: free -m  :‘-m’ 是将结果以‘MB’的形式显示出来 2.格式化我们创建的swap文件 命令: mkswap -

1.swap分区的最重要的作用是防止网站流量突然增大而导致系统分配内存不够用而死机. 2.使用swap交换分区,会使服务器的性能降低很多,导致访问速度变慢. 3.交换分区.我们如果没有足够的内存,也许就不能运行某些大型的软件,解决的办法是在硬盘上划出一个区域来当作临时的内存,好像内存变大了.Windows操作系统把这个区域叫做虚拟内存,Linux把它叫做交换分区swap.

swap分区 一块的新加进来的硬盘,我们要怎么给它创建swap分区呢?要遵循下面四个步骤: (1)使用一个现有的分区,比如记为A (2)然后分区类型的16进制编码,即A的16进制编码. (3)格式化A (4)启用A作为交换分区 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ 好了,比如我们已经用fdisk给一块硬盘建立了MBR分区,如下: 上图可以用”fdisk  

首先,这两个概念分别对应windows和linux,即:windows:虚拟内存linux:swap分区 windows即使物理内存没有用完也会去用到虚拟内存,而Linux不一样 Linux只有当物理内存用完的时候才会去动用虚拟内存(即swap分区) swap类似于windows的虚拟内存,不同之处在于,Windows可以设置在windows的任何盘符下面,默认是在C盘,可以和系统文件放在一个分区里.而linux则是独立占用一个分区,方便由于内存需求不够的情况下,把一部分内容放在swap分区里,

1.创建swap文件,可以单独划分一个分区出来,也可以直接生成一个swap文件 dd if=/dev/zero of=swap bs=1M count=1024 2.格式化为swap文件 mkswap /tmp/swap 3.挂载swap swapon swap 跑去查看swap分区可以看到swap分区变大了

首先介绍下几个简单的命令: free查看当前系统内存的使用情况 查看分区的使用情况:T类型.H显示大小以G,M 查看系统所有硬盘的分区信息:分区的没分区的都显示出来了 开始分区:为什么要加cu  不加也可以哦,虚拟机做实验就要加,cu 针对虚拟硬盘的,虚拟硬盘没柱面 (m for help)按m键获得帮助 参数没戏要了解那么多,只知道几个常用的就iok了:d删除分区,l查看分区类型,n添加分区,p打印分区表,q退出不保存,t修改分区类型,w保存 一块硬盘最多可以创建4个主分区或是3个主分区,一个

首先你需要使用命令:dd 来创建一个swapfile,然后你需要使用mkswap命令在设备或者文件中创建一个Linux swap分区a) 使用root用户登陆b) 使用下面的命令创建一个2G的 Swap 文件 (1024 * 2048MB = 2097152 block size):# dd if=/dev/zero of=/data11/swapfile1 bs=1024 count=2097152c) 创建一个Linux swap area:# mkswap /data11/swapfile

mkfs 命令  linux格式化磁盘命令           linux mkfs         指令:mkfs 使用权限 : 超级使用者 使用方式 : mkfs [-V] [-t fstype] [fs-options] filesys [blocks] [-L Lable] 说明 : 建立 linux 档案系统在特定的 partition 上 参数 : device : 预备检查的硬盘 partition,例如:/dev/sda1 -V : 详细显示模式 -t : 给定档案系统的型式,L

工具:add_swap.sh    所有执行的脚本都需要root身份来执行,执行方法:以root身执行命令:bash xxx.sh 功能:自动检测系统swap分区大小,交换分区大小不合理则自动新增并挂载上 适用系统版本:兼容线上所有linux版本 执行方法:以root身执行命令:bash add_swap.sh  执行命令后,稍等片刻即可! 解决了什么问题:一键式检测系统swap分区大小,如果低于物理内存的2倍则自动创建一个物理内存2倍大小的swap分区 备注:swap不是越大越好,由于磁盘速度

--首先分出一个分区 /dev/sda5 (注意分区类型)mkswap /dev/sda5           --格式化分区成swap格式swapon /dev/sda5           --激活swap分区swapon -s                      --查看swap状态swapoff /dev/sda5           --关闭swap分区--用文件将swap分区增大1Gdd if=/dev/zero of=/mnt/swapfile bs=1M count=100

在日常管理中,我们经常会遇到swap分区使用比较多,那么导致是那些进程使用的呢,其实我们可以通过/proc/pid/下的smaps来获得.使用下面的命令可以列出所有进程占用的swap分区的大小,分别我们分析问题. for i in $(cd /proc;ls | grep “^[0-9]” | awk ‘$0>100’); do awk ‘/Swap:/{a=a+$2}END{print ‘”$i”‘,a/1024″M”}’ /proc/$i/smaps;done| sort -k2nr | h