十:HDFS Short-Circuit Local Reads 短路本地读取
2024-08-29 18:19:40
当client请求数据时,datanode会读取数据然后通过TCP协议发送给client.short-circuit绕过了datanode直接读取数据。short-circuit的前提是client和数据在同一个结点上。
short-circuit需要libhadoop.so,一个本地库。该功能使用unix套接字,client和node通过套接字连接,需要对这个套接字设置一个路径,并且datanode有创建这个路径的权限,一般建在/var/run或者/var/lib。client和datanode通过共享内在/dev/shm交换数据。
client和datanode都要进行配置;
Example Configuration
Here is an example configuration.
<configuration>
<property>
<name>dfs.client.read.shortcircuit</name>
<value>true</value>
</property>
<property>
<name>dfs.domain.socket.path</name>
<value>/var/lib/hadoop-hdfs/dn_socket</value>
</property>
</configuration>
旧式的short-circuit本地读依然被支持,但是配置不一样,要注意其安全性:
<configuration>
<property>
<name>dfs.client.read.shortcircuit</name>
<value>true</value>
</property>
<property>
<name>dfs.client.use.legacy.blockreader.local</name>
<value>true</value>
</property>
<property>
<name>dfs.datanode.data.dir.perm</name>
<value>750</value>
</property>
<property>
<name>dfs.block.local-path-access.user</name>
<value>foo,bar</value>
</property>
</configuration>
最新文章
- Windows下MySQL的常用操作
- phpMyAdmin 尝试连接到 MySQL 服务器,但服务器拒绝连接。您应该检查配置文件中的主机、用户名和密码
- Github账户注册的过程
- MooseFs-分布式文件系统系列(三)之MFSclient端的使用
- 转:Android Webview 加载外部html时选择加载本地的js,css等资源文件
- CNN 美国有线电视新闻网 wapCNN WAP 指无线应用通讯协议 ---- 美国有线电视新闻网 的无线应用
- 了解JBoss Drools Engine
- asp.net 使用JQuery 调用Ashx 后面直接写方法名,通过反射找到对应的方法
- (转)iOS消息推送机制中pem文件的生成
- 学习java 的经验
- 多线程面试题系列(3):原子操作 Interlocked系列函数
- Daily Pathtracer!安利下不错的Pathtracer学习资料
- 三元运算和bytes数据类型笔记
- Autofac与AOP功能例子
- SQL——将表中的最大ID+1插入新的ID中------Insert into 表 MAX(表id) +1
- 吴裕雄 12-MySQL WHERE 子句
- PAT甲题题解-1010. Radix (25)-二分搜索
- application/json 四种常见的 POST 提交数据方式
- MySQL的索引与优化
- java合并两个升序数组为一个新的有序数组
热门文章
- 【js】Object.prototype.hasOwnProperty()
- jq ajax 传递数组 后台php 接值处理
- sql查询关于时间的一些汇总
- ethereum(以太坊)(实例)--";安全的远程购买";
- CentOS7 LNMP+phpmyadmin环境搭建(三、安装phpmyadmin)
- kubernetes资源清单定义
- java中stream部分笔记
- yii2 shi用modal弹窗 select2搜索框无法使用
- Redis系列五 Redis持久化
- C#函数库