use this val data = sc.textFile("/home/spark/data.txt") this should work and set master as local. Input path does not exist解决方法 spark-submit --master local 即可解决! 参考:https://stackoverflow.com/questions/41339127/how-to-load-local-file-using-sc-tex
sparkcontext.textFile()返回的是HadoopRDD! 关于HadoopRDD的官方介绍,使用的是旧版的hadoop api ctrl+F12搜索 HadoopRDD的getPartitions方法,这里进行了分区计算 读取的是txt文件,用的是TextInputFormat的切片规则 当前spark3.0的HadoopRDD依赖于hadoop的切片规则.其中HadoopRDD用的是旧版hadoop API,还有个NewHadoopRDD用的是新版hadoop API 进去T