一.概述 DataWorks数据工场,是MaxComputer的可视化开发平台,一站式开发.管理界面 1.功能概述 1.强大调度:支持分钟到月的调度 2.多种任务:支持ODPS.SHELL等多种任务 3.可视化开发:B/S架构的可视化开发界面,简单易上手 2.基本概念 1.任务 0个或多个表作为输入,1个或多个表作为输出.主要分为节点任务.工作流任务.内部节点 2.实例 某个任务某个时刻的运行快照 3.提交 提交的任务会到调度系统(不提交的不能加入调度系统) 4.资源和函数 俗称的JAR.UDF

---收缩数据库日志文件 USE [master]ALTER DATABASE yourdatabasename SET RECOVERY SIMPLE WITH NO_WAITALTER DATABASE yourdatabasename SET RECOVERY SIMPLE USE yourdatabasename DBCC SHRINKFILE (N'yourdatabasename _Log' , 0,TRUNCATEONLY) --数据库日志文件名(数据库右键-属性-日志逻辑文件名)

查看分区数据量,查看全库数据量 USE information_schema; SELECT PARTITION_NAME,TABLE_ROWS FROM INFORMATION_SCHEMA.PARTITIONS WHERE TABLE_NAME = 'sale_data'; SELECT table_name,table_rows FROM TABLES  WHERE TABLE_SCHEMA = 'db_name'  ORDER BY table_rows DESC ; http://my

现象 新建了一张员工表,插入了少量数据,索引中所有的字段均在where条件出现时,正确走到了idx_nap索引,但是where出现部分自左开始的索引时,却进行全表扫描,与MySQL官方所说的最左匹配原则"相悖". 数据背景 CREATE TABLE `staffs` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(24) NOT NULL DEFAULT '' COMMENT '姓名', `age` int(11) NOT

工作过程中,如果一个数据库的表比较多,手工编写统计脚本就会比较繁琐,于是摸索出自动生成各表统计数据量脚本的通用方法,直接上代码: /* 脚本来源:https://www.cnblogs.com/zhang502219048/p/10970193.html */ ), Num int) exec sp_MSforeachtable 'insert into #t select ''?'', count(*) from ?' select replace(replace(TableName,'[',

问题概述 使用阿里云rds for MySQL数据库(就是MySQL5.6版本),有个用户上网记录表6个月的数据量近2000万,保留最近一年的数据量达到4000万,查询速度极慢,日常卡死.严重影响业务. 问题前提:老系统,当时设计系统的人大概是大学没毕业,表设计和sql语句写的不仅仅是垃圾,简直无法直视.原开发人员都已离职,到我来维护,这就是传说中的维护不了就跑路,然后我就是掉坑的那个!!! 我尝试解决该问题,so,有个这个日志. 方案概述 方案一:优化现有mysql数据库.优点:不影响现有业务

如果想查看 Mysql 数据库的总的数据量或者某个表的数据或者索引大小,可以使用系统库 information_schema 来查询,这个系统库中有一个 TABLES 表,这个表是用来记录数据库中表的大小.行数.索引大小等信息 mysql > use information_schema; Database changed mysql > show create table TABLES; mysql > desc TABLES; 表结构如下: sql: CREATE TEMPORARY

概要: 计算HIVE BI库下每天数据表总大小及增量 输出: 总大小:xxxG 日同比新增数据量:xxxG 周同比新增数据量:xxxG 月同比新增数据量:xxxG 总表数:xxx 日新增表数:xxx 周新增表数:xxx 月新增表数:xxx 最大的20张表: ...... 表数据增量TOP20: ...... 代码: bi_report.sh #!/bin/bash GIGA=1000000000 content="\n" prefix='bi' today=`date -d"

场景:HBase存储在Azure上,现在通过访问Azure Storage的接口,获取HBase中各个表的数据量. 注意: 1.Azure存储,默认的副本数为2,即共存3份,但只收1份的费用,取到的size也是1份的大小.如果是自建HDFS,则不同. 2.此处访问的是Azure Storage的接口,还可以访问HBase的接口来获取数据量(另行验证). c#代码: using Microsoft.WindowsAzure.Storage;using Microsoft.WindowsAzure.

起因 今天在公司第一次链接一个新的mysql数据库,我看到在spring里配置的jdbc里datasource.url里有配置characterEncoding=utf8..然后就用navicat开选择UTF8链接了数据库,结果看到表里数据中文全部乱码... 解决办法 可以使用show variables like 'character_set_database'和show create table yourtablename去查看数据库和表的编码..然后我发现我们使用的是UTF8MB4...然

和oracle有区别, 需要关联表 SELECT A.NAME ,B.ROWS  FROM sysobjects  A JOIN sysindexes B ON A.id = B.id WHERE A.xtype = 'U' AND B.indid IN(0,1) ORDER BY B.ROWS DESC; -- 需要注意 1. 执行脚本需要在你 新建的 目标数据库那一层  新建查询: 2. sysobjects  A  和 sysindexes B 是两张不同的表

方法一: SELECT a.name,b.rows FROM sysobjects a INNER JOIN sysindexes b ON a.id=b.id ,) AND a.Type='u' ORDER BY b.rows desc 方法二: ), RowCnt INT) EXEC sp_MSforeachtable 'INSERT INTO #temp SELECT ''?'', COUNT(*) FROM ?' select * from #temp order by RowCnt d

use information_schema;select table_name,table_rows from tables where table_schema='cargo_new' order by table_rows desc limit 3 -- cargo_new (选择数据库) https://www.cnblogs.com/diandiandidi/p/5582309.html

##查看所有表信息 SELECT * FROM information_schema.TABLES WHERE TABLE_SCHEMA = 'pcms-zgh20190327' ##查看各个表数据量 SELECT table_name,table_rows FROM information_schema.tables WHERE TABLE_SCHEMA = 'pcms-zgh20190327' ORDER BY table_rows DESC;

背景介绍: 环境:Linux 5.5 + Oracle 10.2.0.4 某普通表T,由于前期设计不当没有分区,如今几年来的数据量已达9亿+, 空间占用大约350G,在线重定义为分区表不现实,故采取申请时间窗口停此表应用,改造为分区表. 若T表数据量适当,可选用在线重定义操作时,可参考:http://www.cnblogs.com/jyzhao/p/3876634.html 1.创建分区表 2.设置新建分区表为nologging, 重命名原表T为T_OLD 3.并行直接路径插入 4.为分区表建立

今天想在服务器上还原一个DB,发现磁盘空间不够,查看发现,其中一个DB竟然有56G了.因此想收缩一下这个DB,发现大小没多大变化.然后在网上找了找SQL脚本,看能不能查看下哪个表的数据量那么大. 网上找到的脚本: ),ROWS ),reserved ) ,Data ) ,index_size ) ,Unused ) ) GO INSERT #Temp EXEC SP_MSFOREACHTABLE 'EXEC sp_spaceused "?"' SELECT * FROM #Temp O

  这次,发布清洗列表功能,需要对数据库进行升级.MailingList表加个IfCleaning字段,所有的t_User*表加个IfCleaned字段.   脚本如下 对所有的t_User表执行 alter table t_User** add IfCleaned bit default(0) not null 对Mailing list表执行 alter table t_MailingList add IfCleanning bit default(0) not null   简简单单的两个

最近项目中不少表的数据量越来越大,并且导致了一些数据库的性能问题.因此想借助一些分库分表的中间件,实现自动化分库分表实现.调研下来,发现Sharding-JDBC目前成熟度最高并且应用最广的Java分库分表的客户端组件.本文主要介绍一些Sharding-JDBC核心概念以及生产环境下的实战指南,旨在帮助组内成员快速了解Sharding-JDBC并且能够快速将其使用起来.Sharding-JDBC官方文档 核心概念 在使用Sharding-JDBC之前,一定是先理解清楚下面几个核心概念. 逻辑表

数据库有一张表数据量很大,真正WEB项目只用到一个月内的数据,因此把一个月前的旧数据定期归档. 1 - 创建一个新表,表结构和索引与旧表一模一样 create table table_news like table_name; 2 - 新建存储过程,查询30天的数据并归档进新数据库,然后把30天前的旧数据从旧表里删除 delimiter $create procedure sp()begininsert into tb_new select * from table_namewhere crea

前因: 客户咨询,有一个业务sql(代表经常被执行且重要),全表扫描在系统占用资源很高(通过ash报告查询得到信息) 思路: 1.找到sql_text,sql_id 2.查看执行计划 3.查询sql涉及对象的对象数据量,段大小,行数量,where条件列,是否存在索引,列的选择读情况如何 4.总结,优化整改 1.找到sql_text,sql_id 094cmrxrahdy2 SELECT ~10个列名称(由于设计用户信息,因此部分信息不再详细说明) FROM Prescription WHERE