pandas dataframe写入hdfs csv文件的两种方式：

1、

from hdfs.client import Client

cleint.write(hdfs_url, df.to_csv(idnex=False), overwrite=True, encoding='utf-8')

2、

with client.write(hdfs_url, overwrite=True) as writer:

　　df.to_csv(writer, encoding='utf-8', index=False)

推荐使用方法二，写入效率要比方法一高得多。

从hdfs读文本数据
from hdfs.client import Client

client = Client("http://localhost:50070")

filepath="test.txt"
with client.read(filepath) as fs:
　　content = fs.read()
　　print(content)

从hdfs读excel

with client.read(filepath) as fs:
　　content = fs.read()
　　table = pd.read_excel(content)

最新文章

1. React中使用Ant Table组件
2. 使用jquery增加网站粘度
3. 电脑没有关机可能出现发博文dns异常（write）
4. SQL——触发器——插入触发器——边学边项目写的。
5. centos 7.0 下触发器乱码的解决
6. HttpHandler简介
7. C#学习笔记（二）——变量和表达式
8. WPF 自定义滚动条样式
9. C++ BigInteger 大整数类模板（转）
10. 记录OC学习的一点一滴（一）
11. linux服务器性能状态查看
12. C3P0数据库连接池使用中的问题
13. 将DataTable转换为List<T>对象遇到问题：类型“System.Int64”的对象无法转换为类型“System.Int32”。
14. SpringBoot2.0 最简单的 idea 快速创建项目
15. SQL创建索引和删除索引
16. 京东某商品页面的简单爬取 --Pyhon网络爬虫与信息获取
17. List根据时间字符串排序
18. gulp：入门简介
19. 安装loadrunner11出现Microsoft Visual c++2005 sp1安装失败
20. angularJS1笔记-(2)-$watch方法监听变量的变化

热门文章

1. 京东数科面试真题：常见的 IO 模型有哪些？Java 中的 BIO、NIO、AIO 有啥区别？
2. JS逆向-抠代码的第四天【手把手学会抠代码】
3. Asp.Net Core 学习随笔
4. 隐藏页面元素 css
5. 一文教你搞懂 Go 中栈操作
6. 第4 章 ： 理解 Pod 和容器设计模式
7. [hash]集合
8. SpringBoot（九篇）
9. 理解和解决Java并发修改异常:ConcurrentModificationException
10. .Net程序内存泄漏解析