Spark SQL 之自定义删除外部表
前言
Spark SQL 在删除外部表时,本不能删除外部表的数据的。本篇文章主要介绍如何修改Spark SQL 源码实现在删除外部表的时候,可以带额外选项来删除外部表的数据。
本文的环境是我一直使用的 spark 2.4.3 版本。
1. 修改ANTLR4 语法文件
修改 SqlBase.g4文件中drop Table 相关语句,添加(WITH DATA)?, 修改完之后如下:
DROP TABLE (IF EXISTS)? tableIdentifier (WITH DATA)? PURGE? #dropTable
因为,删除external表也不是必须的,所以添加WITH DATA 为可选项,跟 IF EXISTS类似。
2. 修改相关方法
2.1 修改SparkSqlParser.scala文件
/** * Create a [[DropTableCommand]] command. */ override def visitDropTable(ctx: DropTableContext): LogicalPlan = withOrigin(ctx) { DropTableCommand( visitTableIdentifier(ctx.tableIdentifier), ctx.EXISTS != null, ctx.VIEW != null, ctx.PURGE != null, ctx.WITH() != null && ctx.DATA() != null) }
2.2 修改DropTableCommand.scala等相关文件
首先修改构造函数,在最后一个参数后面添加withData方法,默认为false:
case class DropTableCommand( tableName: TableIdentifier, ifExists: Boolean, isView: Boolean, purge: Boolean, withData:Boolean = false // TODO 外部表是否需要删除表数据 ) extends RunnableCommand
DropTableCommand本质上其实是用了command设计模式,实际在运行时,会调用其run方法,修改 run 方法,如下:
override def run(sparkSession: SparkSession): Seq[Row] = { val catalog = sparkSession.sessionState.catalog val isTempView = catalog.isTemporaryTable(tableName) if (!isTempView && catalog.tableExists(tableName)) { // If the command DROP VIEW is to drop a table or DROP TABLE is to drop a view // issue an exception. catalog.getTableMetadata(tableName).tableType match { case CatalogTableType.VIEW if !isView => throw new AnalysisException( "Cannot drop a view with DROP TABLE. Please use DROP VIEW instead") case o if o != CatalogTableType.VIEW && isView => throw new AnalysisException( s"Cannot drop a table with DROP VIEW. Please use DROP TABLE instead") case _ => } } if (isTempView || catalog.tableExists(tableName)) { try { sparkSession.sharedState.cacheManager.uncacheQuery( sparkSession.table(tableName), cascade = !isTempView) } catch { case NonFatal(e) => log.warn(e.toString, e) } catalog.refreshTable(tableName) log.warn(s"withData:${withData}") catalog.dropTable(tableName, ifExists, purge, withData) } else if (ifExists) { // no-op } else { throw new AnalysisException(s"Table or view not found: ${tableName.identifier}") } Seq.empty[Row] }
在第 28 行,为 catalog对象的dropTable 添加 withData 参数。其中catalog是 org.apache.spark.sql.catalyst.catalog.SessionCatalog 的实例。其子类并没有重写其 dropTable 方法,故只需要修改其dropTable 方法即可。具体修改代码如下:
/** * Drop a table. * * If a database is specified in `name`, this will drop the table from that database. * If no database is specified, this will first attempt to drop a temporary view with * the same name, then, if that does not exist, drop the table from the current database. */ def dropTable( name: TableIdentifier, ignoreIfNotExists: Boolean, purge: Boolean, withData:Boolean = false // 外部表是否需要在hdfs上删除其对应的数据 ): Unit = synchronized { val db = formatDatabaseName(name.database.getOrElse(currentDb)) val table = formatTableName(name.table) if (db == globalTempViewManager.database) { val viewExists = globalTempViewManager.remove(table) if (!viewExists && !ignoreIfNotExists) { throw new NoSuchTableException(globalTempViewManager.database, table) } } else { if (name.database.isDefined || !tempViews.contains(table)) { requireDbExists(db) // When ignoreIfNotExists is false, no exception is issued when the table does not exist. // Instead, log it as an error message. if (tableExists(TableIdentifier(table, Option(db)))) { logError(s"withData :${withData}") externalCatalog.dropTable(db, table, ignoreIfNotExists = true,purge = purge, withData) } else if (!ignoreIfNotExists) { throw new NoSuchTableException(db = db, table = table) } } else { tempViews.remove(table) } } }
为防止在test中有很多的测试类在调用该方法,在编译时报错,新添加的withData给默认值,为false,保证该方法默认行为跟之前未修改前一致。
withData 参数继续传递给 externalCatalog.dropTable 方法,其中,externalCatalog 是 org.apache.spark.sql.catalyst.catalog.ExternalCatalog 类型变量,ExternalCatalog 是一个trait,ExternalCatalog 实现类关系如下:
首先修改ExternalCatalog 的dropTable 方法,如下:
def dropTable( db: String, table: String, ignoreIfNotExists: Boolean, purge: Boolean, withData:Boolean=false): Unit
参数加载最后,给默认值false。
org.apache.spark.sql.catalyst.catalog.ExternalCatalogWithListener 是一个包装类,其内部在原来ExternalCatalog 的行为之外添加了监听的行为。先修改这个包装类的dropTable,如下:
override def dropTable( db: String, table: String, ignoreIfNotExists: Boolean, purge: Boolean, withData:Boolean): Unit = { postToAll(DropTablePreEvent(db, table)) delegate.dropTable(db, table, ignoreIfNotExists, purge, withData) postToAll(DropTableEvent(db, table)) }
其中,delegate 就是真正执行 dropTable操作的ExternalCatalog对象。
catlog有两个来源,分别是 in-memory和 hive, in-memory的实现类是org.apache.spark.sql.catalyst.catalog.InMemoryCatalog,只需要添加 方法参数列表即可,在方法内部不需要做任何操作。
hive的实现类是 org.apache.spark.sql.hive.HiveExternalCatalog, 其dropTable 方法如下:
override def dropTable( db: String, table: String, ignoreIfNotExists: Boolean, purge: Boolean, withData:Boolean): Unit = withClient { requireDbExists(db) val tableLocation: URI = client.getTable(db,table).location client.dropTable(db, table, ignoreIfNotExists, purge) val path: Path = new Path(tableLocation) val fileSystem: FileSystem = FileSystem.get(hadoopConf) val fileExists: Boolean = fileSystem.exists(path) logWarning(s"withData:${withData}, ${path} exists : ${fileExists}") if (withData && fileExists) { fileSystem.delete(path, true) } }
3. 打包编译
在生产环境编译,编译命令如下:
./dev/-cdh5./bin/mvn -Pyarn -Phadoop--cdh5.14.0 -X
注:由于编译的是 cdh版本,一些jar包不在中央仓库,在pom.xml文件中,添加 cloudera maven 源:
<repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos</url> </repository>
为了加快 maven编译的速度, 在 make-distribution.sh 文件中,修改了编译的并行度,在171行,把1C改为4C,具体修改如下:
BUILD_COMMAND=("$MVN" -T 4C clean package -DskipTests $@)
执行编译结束之后,在项目的根目录下,会有 spark-2.4.3-bin-2.6.0-cdh5.14.0.tgz 这个压缩包,这就是binary 文件,可以解压到指定目录进行相应配置了。
4. 配置spark
把原来集群中spark 的配置以及相关jar包拷贝到新的spark相应目录。
5. 测试
5.1 创建外部表
spark sql
spark-sql> use test;
spark-sql> create external table ext1 location '/user/hive/warehouse/test.db/ext1' as select * from person;
spark-sql> select * from ext1;
1 2 3
2 zhangsan 4
3 lisi 5
4 wangwu 6
5 rose 7
6 nose 8
7 info 9
8 test 10
查看 hdfs 上对应目录是否有数据
[root@xxx ~]# hdfs dfs -ls -R /user/hive/warehouse/test.db/ext1 -rwxr-xr-x root supergroup -- : /user/hive/warehouse/test.db/ext1/part--aae237ac-4a0b-425c-a0f1-5d54d1e88957-c000
5.2 删除表
spark-sql> drop table if exists ext1 with data;
5.3 验证表元数据已删除成功
spark-sql> show tables; test person false
没有ext表,说明已删除成功。
5.4 验证hdfs上数据已删除成功
[root@node01 ~]# hdfs dfs -ls -R /user/hive/warehouse/test.db/ext1 ls: `/user/hive/warehouse/test.db/ext1': No such file or directory
该目录已不存在,说明hdfs上数据已删除成功。
总结
本文具体介绍了如何修改spark sql 的源码,在删除external表时可选择地删除hdfs上的底层数据。
最新文章
- git diff ^M的消除
- c# 结构体、枚举类型及函数调用
- linux epoll 开发指南-【ffrpc源码解析】
- Oracle数据库作业-6 查询成绩比该课程平均成绩低的同学的成绩表
- 实现简单的cp命令
- 中断——中断处理程序的进入与退出 (基于3.16-rc4)
- POJ 2140 Herd Sums
- AJAX同步与异步
- ASP.NET 5 Overview
- $>;_<;$
- sql 日记
- JDBC完成的三个基本工作
- VMware15安装MAC(MAC OS 10.13)(OS X 10.14)原版可升级最新可解锁macOS Unlocker3.0(OS X 10.13)
- 获取添加数据的自增ID
- PKUWC 2019 记
- GitHub学习一-本地电脑与GitHub绑定
- 在linux上搭建nexus私服(CentOS7)
- VC 系统托盘编程,含有气泡提示
- HTTP&;HTTPS、GET&;POST
- [Flex] 组件Tree系列 —— 利用firstVisibleItem属性,设置或取得第一个显示节点