CM记录-操作系统调优
2024-09-15 21:44:23
1.避免使用swap分区---将hadoop守护进程的数据交换到磁盘的行为可能会导致操作超时：物理内存（交换）--Swap分区
2.调整内存分配策略---操作系统内核根据vm.overcommit_memory（0-表示是否可用的内存，1-表示分配所有的物理内存，2-表示分配所有的物理内存和交换空间的所有物理内存，建议设置为2）的值来决定分配策略，并且通过vm.overcommit_radio的值来设定超过物理内存的比例
3.修改net.core.somaxconn参数---该参数表示socket监听backlog（套接字的监听队列）的上限，默认为128，建议设置为32678，socket服务器会一次性处理backlog中的所有请求，hadoop的ipc.server.listen.queue.size参数和Linux的net.core,somaxconn参数控制了监听队列的长度，需要调大
4.增大同时打开文件描述符的上限---对于内核来说，所有打开的文件都通过文件描述符引用，文件描述符是一个非负整数，hadoop的作业经常会读写大量文件，需要增大同时打开文件描述符的上限
5.选择合适的文件系统，并禁用文件的访问时间---文件系统ext3和ext4会有不同的性能表现，对于HDFS来说，获取块文件的访问时间没有任何意义，建议将其禁用
6.关闭HP（Transparent Huge Pages）--Huge Pages自动化的抽象层，会引起CPU占用率增大，建议将其关闭
最新文章
- lua解析赋值类型代码的过程
- HDOJ 1576 A/B
- java后台开发传输乱码&&接口post传参失败
- [OpenCV] Feature Matching
- [算法][包围盒]球，AABB，OBB
- 谈 IIS7.5 Asp.Net模拟用户
- ATT GATT Profile
- easyui不提交window中的form表单数据
- 在Assertion中获取Response的headers，获取headers中信息，获取body（content）
- Spring 拦截器配置
- 关于"干货集中营"的一个开源App
- 可以自动安装mysql数据库的一个shell脚本
- amaze UI的使用
- 当前jQuery Mobile支持的6种页面切换方式
- Linux修改时间时区并在Tomcat中生效
- PHP多进程编之僵尸进程问题
- 【CentOS】阿里云ECS申请CA证书配置SSL
- 认识容器和Docker（一）
- 死磕 java集合之SynchronousQueue源码分析
- 一、Subversion服务