shell中sparksql语句调试、执行方式

1.命令方式执行sparksql查询

SQL="use mydatatable;;select count(1) from tab_videousr_onlne where p_regiion=101 and p_date='2017-04-05' and p_hour=21;"

/home/mr/spark/bin/beeline -u jdbc:hive2://localhost:18000 -n mr -p mr --maxwidth=3000 -e "$SQL" >> /home/mr/query_result.txt

注：在执行语句后重定向（>>）生成文件，可以收集查询结果。

p.s. 也可以通过shell命令手动输入sql语句：echo -n input the query SQL: ; read SQL;

2.脚本方式执行sparksql查询

su - mr -c "beeline -u jdbc:hive2://localhost:18000/mydatatable -n mr -f /home/1209sparktableupgrade/spark_add_table.sql"

巴特西