No FileSystem for scheme: hdfs问题
2024-10-19 04:30:54
通过FileSystem.get(conf)初始化的时候,要通过静态加载来实现,其加载类的方法代码如下:
private static FileSystem createFileSystem(URI uri, Configuration conf
) throws IOException {
Class<?> clazz = conf.getClass("fs." + uri.getScheme() + ".impl", null);
if (clazz == null) {
throw new IOException("No FileSystem for scheme: " + uri.getScheme());
}
FileSystem fs = (FileSystem)ReflectionUtils.newInstance(clazz, conf);
fs.initialize(uri, conf);
return fs;
}
onf.getClass需要读取hadoop-common-x.jar下面的core-default.xml,但是这个xml里面没有fs.hdfs.impl的配置信息,所以需要将这个类给配置上去。
将hadoop-commom-x.jar里面的core-default.xml文件取出并修改,添加如下代码:
<property>
<name>fs.hdfs.impl</name>
<value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
<description>The FileSystem for hdfs: uris.</description>
</property>
或者应用代码使用时候,自行添加:
configuration.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
最新文章
- HTTP访问错误大全
- Scrollview嵌套listview
- Javascript的精华啊【如果以后我看到了或者想到了再继续补吧】
- ext3文件系统反删除利器-ext3grep
- Git - Tutorial [Lars Vogel]
- 让MySQL支持中文
- SSRS 传多值参数问题
- 实现android activity之间的跳转
- 使用ArcGIS API for Silverlight 进行复合多条件空间查询
- YII2 过滤器 filters
- MVC分页控件
- 2.Node.js access_token的获取、存储及更新
- Iterator、for..of,for...in和自定义遍历器**
- Android事件传递机制详解及最新源码分析——Activity篇
- jquery初始化的三种方式
- spring7——AOP之通知和顾问
- CSS3的新特性整理
- java.util.logging jdk日志详解
- kali渗透windowsXP过程
- Ubuntu 16.04 LTS 降级安装GCC 4.8