spark action之saveastextfile
2024-08-28 18:10:28
java
/**
*saveastextfile 把rdd中的数据保存到文件中,只能指定文件夹
*@author Tele
*
*/
public class SaveasTextFileDemo1 {
private static SparkConf conf = new SparkConf().setMaster("local").setAppName("saveastextfiledemo1");
private static JavaSparkContext jsc = new JavaSparkContext(conf); public static void main(String[] args) {
List<Tuple2<String,Integer>> list = Arrays.asList(
new Tuple2<String,Integer>("tele",100),
new Tuple2<String,Integer>("tele",200),
new Tuple2<String,Integer>("tele",300),
new Tuple2<String,Integer>("yeye",50),
new Tuple2<String,Integer>("yeye",10),
new Tuple2<String,Integer>("yeye",70),
new Tuple2<String,Integer>("wyc",10000)
); JavaPairRDD<String, Integer> rdd = jsc.parallelizePairs(list); //保存到本地
rdd.saveAsTextFile("./src/main/resources/local");
jsc.close();
}
}
scala
object SaveasTextFileDemo {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setMaster("local").setAppName("saveastextfiledemo");
val sc = new SparkContext(conf); val arr = Array(("class1","tele"),("class1","yeye"),("class2","wyc")); val rdd = sc.parallelize(arr,1); rdd.saveAsTextFile("./src/main/resources/myfile") }
}
最新文章
- jQuery-easyui实现关闭全部tabs
- freeCAD特性列表
- android 很多牛叉布局github地址(转)
- hibernate 入门([数据访问中间件] 开源框架)
- 59.Android开源项目及库 (转)
- [转载] - QWidget、QMainWindow、QDialog和QFrame的区别
- Java根据条件删除Map中元素
- 数据分析与展示——Matplotlib基础绘图函数示例
- centos6快速搭建nginx
- 笔记:Maven Web项目
- rancher2.0部署
- Guava Lists.transform踩坑小记<;转>;
- 【搬运工】——Java中的static关键字解析(转)
- ORM之查询
- 使用ssh-add命令添加ssh私钥时报错
- 洛谷 P5162 WD与积木 解题报告
- 【laravel5.4】安装指定版本的predis 和 处理laravel5.*安装使用Redis以及解决Class &#39;Predis\Client&#39; not found和Fatal error: Non-static method Redis::set() cannot be called statically错误
- [POI2008] BLO
- sudo环境变量问题;程序库函数寻找
- FCLK、HCLK、PCLK