实例介绍
【实例简介】Hive用户指南
【实例截图】
【核心代码】
目录
1. HIVE结构
.................................................................................................................................. 5
1.1 HIVE 架构 .................................................................................................................... 5
1.2 Hive 和 Hadoop 关系 ................................................................................................ 6
1.3 Hive 和普通关系数据库的异同 ................................................................................. 7
1.4 HIVE 元数据库
.............................................................................................................. 8
1.4.1 DERBY ................................................................................................................ 8
1.4.2 Mysql ................................................................................................................. 9
1.5 HIVE 的数据存储 ...................................................................................................... 10
1.6 其它 HIVE 操作 ......................................................................................................... 10
2. HIVE 基本操作
....................................................................................................................... 11
2.1 create table .................................................................................................................. 11
2.1.1 总述
................................................................................................................. 11
2.1.2 语法
................................................................................................................. 11
2.1.3 基本例子
......................................................................................................... 13
2.1.4 创建分区
......................................................................................................... 14
2.1.5 其它例子
......................................................................................................... 15
2.2 Alter Table .................................................................................................................. 16
2.2.1 Add Partitions ............................................................................................. 16
2.2.2 Drop Partitions ........................................................................................... 16
2.2.3 Rename Table ................................................................................................. 16
2.2.4 Change Column............................................................................................... 17
2.2.5 Add/Replace Columns ................................................................................... 17
2.3 Create View ................................................................................................................. 17
2.4 Show ........................................................................................................................... 18
2.5 Load ............................................................................................................................ 18
2.6 Insert ........................................................................................................................... 20
2.6.1 Inserting data into Hive Tables from queries ................................. 20
2.6.2 Writing data into filesystem from queries ....................................... 21
2.7 Cli ................................................................................................................................ 22
2.7.1 Hive Command line Options ....................................................................... 22
2.7.2 Hive interactive Shell Command ............................................................. 23
2.7.3 Hive Resources ............................................................................................. 24
2.7.4 调用 python 、 shell 等语言
......................................................................... 25
2.8 DROP............................................................................................................................. 26
2.9 其它 ............................................................................................................................. 26
2.9.1 Limit ............................................................................................................... 26
2.9.2 Top k ............................................................................................................... 26
2.9.3 REGEX Column Specification ..................................................................... 26
3. Hive Select ............................................................................................................................... 27
3.1 Group By
..................................................................................................................... 27
3.2 Order /Sort By
......................................................................................................... 28
4. Hive Join .................................................................................................................................. 28 3
5. HIVE参数设置
........................................................................................................................ 31
6. HIVE UDF ................................................................................................................................. 32
6.1 基本函数
..................................................................................................................... 32
6.1.1 关系操作符
..................................................................................................... 32
6.1.2 代数操作符
..................................................................................................... 34
6.1.3 逻辑操作符
..................................................................................................... 35
6.1.4 复杂类型操作符
............................................................................................. 35
6.1.5 内建函数
......................................................................................................... 35
6.1.6 数学函数
......................................................................................................... 35
6.1.7 集合函数
......................................................................................................... 35
6.1.8 类型转换
......................................................................................................... 35
6.1.9 日期函数
......................................................................................................... 35
6.1.10 条件函数
......................................................................................................... 36
6.1.11 字符串函数
..................................................................................................... 36
6.2 UDTF .......................................................................................................................... 38
6.2.1 Explode .......................................................................................................... 39
7. HIVE 的 MAP/REDUCE ............................................................................................................ 40
7.1 JOIN ............................................................................................................................. 40
7.2 GROUP BY .................................................................................................................... 41
7.3 DISTINCT ...................................................................................................................... 41
8. 使用 HIVE 注意点
................................................................................................................... 42
8.1 字符集
......................................................................................................................... 42
8.2 压缩
............................................................................................................................. 42
8.3 count(distinct)
....................................................................................................... 42
8.4 JOIN............................................................................................................................. 42
8.5 DML操作
...................................................................................................................... 43
8.6 HAVING......................................................................................................................... 43
8.7 子查询
......................................................................................................................... 43
8.8 Join 中处理 null 值的语义区别
.............................................................................. 43
9. 优化与技巧
............................................................................................................................. 46
9.1 全排序
......................................................................................................................... 46
9.1.1 例 1 .................................................................................................................. 47
9.1.2 例 2 .................................................................................................................. 50
9.2 怎样做笛卡尔积
......................................................................................................... 53
9.3 怎样写 exist/in 子句
............................................................................................... 53
9.4 怎样决定 reducer 个数
............................................................................................. 54
9.5 合并 MapReduce操作
................................................................................................. 54
9.6 Bucket 与 sampling ................................................................................................... 55
9.7 Partition ....................................................................................................................... 56
9.8 JOIN ............................................................................................................................. 57
9.8.1 JOIN原则 ........................................................................................................ 57
9.8.2 Map Join .......................................................................................................... 57
9.8.3 大表 Join 的数据偏斜 .................................................................................... 59
9.9 合并小文件
................................................................................................................. 61 4
9.10 Group By ...................................................................................................................... 61
10. HIVE FAQ： ..................................................................................................................... 61
好例子网口号：伸出你的我的手 — 分享！
相关软件
小贴士
感谢您为本站写下的评论，您的评论对其它用户来说具有重要的参考价值，所以请认真填写。
- 类似“顶”、“沙发”之类没有营养的文字，对勤劳贡献的楼主来说是令人沮丧的反馈信息。
- 相信您也不想看到一排文字/表情墙，所以请不要反馈意义不大的重复字符，也请尽量不要纯表情的回复。
- 提问之前请再仔细看一遍楼主的说明，或许是您遗漏了。
- 请勿到处挖坑绊人、招贴广告。既占空间让人厌烦，又没人会搭理，于人于己都无利。
关于好例子网
本站旨在为广大IT学习爱好者提供一个非营利性互相学习交流分享平台。本站所有资源都可以被免费获取学习研究。本站资源来自网友分享，对搜索内容的合法性不具有预见性、识别性、控制性，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，平台无法对用户传输的作品、信息、内容的权属或合法性、安全性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论平台是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二与二十三条之规定，若资源存在侵权或相关问题请联系本站客服人员，点此联系我们。关于更多版权及免责申明参见 版权及免责申明
网友评论
我要评论