代码:

		Properties connectionProperties = new Properties();
		connectionProperties.put("user", Constants.PG_USERNAME);
		connectionProperties.put("password", Constants.PG_PASSWD);
		connectionProperties.put("fetchsize", "10000");

		spark.read().jdbc(Constants.PG_JDBC, "tb_grid_export", "google_gci", 2669989, 2682906, 10, connectionProperties)
		.write().mode(SaveMode.Overwrite).saveAsTable("tb_grid_export");

原因:

spark并行读取时候,会根据指定的字段和指定的上下限值生成对于的where条件,上下限制要求是数值类型,这里报错的原因是PG库里指定并行的字段存储类型为varchar

如下测试:

最新文章

  1. JSP的基本语法
  2. 关于spark的一些简单认识。
  3. C#实现http协议下的多线程文件传输
  4. 与众不同 windows phone (47) - 8.0 其它: 锁屏信息和锁屏背景, 电池状态, 多分辨率, 商店, 内置协议, 快速恢复
  5. 读书笔记——Windows核心编程(2)比较字符串
  6. Python: Lambda Functions
  7. JS动态调用方法名示例介绍
  8. linux 下 奇怪的 动态库 依赖问题
  9. linux —— 启动引导程序 lilo 与 grub
  10. 一封推荐信——android培训机构
  11. 第七届河南省赛10403: D.山区修路(dp)
  12. 基于Jmeter的轻量级接口压力测试(一)
  13. Jenkins2 实现持续交付初次演练(MultiJob,Pipeline,Blue Ocean)
  14. UWP 邮件反馈
  15. k8s 如何 Failover?- 每天5分钟玩转 Docker 容器技术(127)
  16. 4sumii
  17. 什么是Vagrant
  18. neo4j-cypher
  19. C# 设置Excel超链接(二)
  20. Looping through the content of a file in Bash

热门文章

  1. 设计模式——通用泛型单例(普通型和继承自MonoBehaviour)
  2. springboot项目问题记录one
  3. 哈夫曼编码与解码的C++实现:建立哈夫曼树、进行哈夫曼编码与解码
  4. python 3.5学习笔记(第三章)
  5. Spring Cloud中Hystrix、Ribbon及Feign的熔断关系是什么?
  6. 曹工杂谈:手把手带你读懂 JVM 的 gc 日志
  7. python基础知识练习题一
  8. Java中内部类的骚操作
  9. Linux学习笔记07之shell
  10. 前端js性能优化的要点