一、介绍
GreenPlum分布式数据仓库，大规模并行计算技术。
- 无共享/MPP核心架构
Greenplum数据库软件将数据平均分布到系统的所有节点服务器上，所以节点存储每张表或表分区的部分行，所有数据加载和查询都是自动在各个节点服务器上并行运行，并且该架构支持扩展到上万个节点。
- 混合的存储和执行（按列或按行）
Greenplum发明支持混合按列或按行存储数据，每张表或表分区可以由管理员根据应用需要，分别指定存储和压缩方式。基于这个功能，用户可以对任何表或表分区选择按行或按列存储数据和处理方式。这些是在建表或表分区的DDL语句中配置的，只需在建表或表分区时指定。这个功能基于Greenplum的多态维数据存储技术。
Master和Segment都是一个单独的PostgreSQL数据库。每一个都有自己单独的一套元数据字典。
Master节点一般也叫主节点，Segment叫做数据节点。
为了实现高可用，每个Segment都有对应的备节点 Mirror Segment分别存在与不同的机器上。
Client一般只能与Master节点进行交互，Client将SQL发给Master，然后Master对SQL进行分析后再将其分配给所有的Segment进行操作。
Greenplum没有Windows版本，只能安装在类UNIX的操作系统上。
Greenplumn极度消耗I/O资源，所以对存储的要求比较高。
- Master节点：是整个系统的控制中心和对外的服务接入点，它负责接收用户SQL请求，将SQL生成查询计划并进行并行处理优化，然后将查询计划分配（dispatch）到所有的Segment节点进行并行处理，协调组织各个Segment节点按照查询计划一步一步地进行并行处理，最后获取到Segment的计算结果，再返回给客户端；从用户的角度看Greenplum集群，看到的只是Master节点,无需关心集群内部的机制，所有的并行处理都是在Master控制下自动完成的。Master节点一般只有一个或两个（互为备份）；
- Segment节点：是Greenplum执行并行任务的并行运算节点，它接收Master的指令进行MPP并行计算，因此所有Segment节点的计算性能总和就是整个集群的性能，通过增加Segment节点，可以线性化得增加集群的处理性能和存储容量，Segment节点可以是1~10000个节点；
- Interconnect：是Master节点与Segment节点、Segment节点与Segment节点之间的数据传输组件，它基于千兆交换机或万兆交换机实现数据在节点间的高速传输；
- 外部数据加载到Greenplum时，采用并行数据流进行加载，直接加载到Segment节点，这项独特的技术是Greenplum的专有技术，以此保证外部数据在最短时间内加载到数据库中。
二、基本语法
1.create table
- 在Greenplum中建表时需要指定表的分布键
- 如果表需要用某个字段分区，可以通过partition by将表建成分区表
- 可以使用like操作创建与like的表一样结构的表，功能类似 create table t1 as select * from t2 limit 0
- 可以使用inherits实现表的继承
Greenplum是一个分布式数据库，有两种数据分布策略：
- Hash分布：指定一个或多个分布键，计算hash值，并且通过hash值路由到特定的Segment节点上，语法为Distributed by(...)。如果不指定分布键，默认将第一个字段作为分布键。
- 随机分布：也叫平均分布，数据随机分散在每一个节点中，这样无论数据是什么内容，都可以平均分布在每个节点上，但是在执行SQL的过程中，关联等操作都需要将数据重分布，性能较差。语法为在表字段定义的后面加上Distributed randomly。
2.select
- 分页采用offset加limit操作
- select可以不用加from子句
- 不加order by的话，查询结果顺序是随机的
3.create table as与select into
- 可以使表根据直接执行select的结果创建出一个新的表，这个在临时分析数据的时候十分方便。
- select into的语法比create table as更简单，虽然功能一样，但是执行select into不能指定分布键，只能使用默认的分布键。
4.explain
- 查询表的执行计划
5.insert/update/delete
- insert的时候分布键不要为空，否则分布键默认会变成null，数据都被保存在一个节点上，造成数据分布不均。
- 不能批量对分布键执行update，因为对分布键执行update需要将数据重分布，Greenplum暂时不支持这个功能。
- Greenplum 3.x版本中，如果delete操作涉及子查询，并且子查询的结果还会涉及数据重分布，这样的删除语句会报错。对整张表执行Delete较慢，有此需求时建议使用truncate。
6.truncate
- 与oracle一样，执行truncate直接删除表的物理文件，然后创建新的数据文件。truncate操作比delete操作在性能上有非常大的提升，当前如果有sql正在操作这张表，那么truncate操作会被锁住，直到表上面的所有锁被释放。
三、常用数据类型
1.数值类型
- smallint
- integer
- bigint
- decimal
- numeric
- real
- double
- serial
- bigserial
2.字符类型
- character varying(n)
- varchar(n)
- character(n)
- char(n)
- text
3.时间类型
- timestamp
- interval
- date
- time
四、常用函数
1.字符串函数
- string || string 字符串连接
select 'abc'||'def'; - length(string) 字符串长度
select length('abcd');- position(substring in string) 指定子字符串的位置
select position('ab' in 'foanegabdafeab');- substring(string from 2 for 5) 抽取子字符串，从第2位开始，取5位
select substring('abcdefghij' from 2 for 5);- trim(leading/trailing/both 'x' from string)从字符串string的开头/结尾/两边删除只包含characters中字符（默认是空白）的最长的字符串
select trim(both 'x' from 'xTomxxx');- lower(string) 小写
- upper(string) 大写
select lower('ADENG'), upper('dfsen');- overlay(string placing string from 2 for 4) 替换子字符串
select overlay('Txxxxas' placing 'hom' from 2 for 4);- replace(string,from,to) 把字符串string中出现的所有子字符串from替换成子字符串to
select replace('abdadfabadfab','ab','XX');- split_part(string,delimiter,field) 根据delimiter分隔string返回生成的第field个子字符串（1开始）
select split_part('abc***def***fff','***',2);2.时间函数
- age(timestamp, timestamp) 减去参数后的”符号化”结果
select age(timestamp '2001-04-10', timestamp '1957-06-13');-- 43 years 9 mons 27 days- age(timestamp) 从current_date减去参数中的日期
select age(timestamp '2001-04-10'); -- 17 years 3 mons 27 days- current_date 当前的日期
select current_date; -- 2018-08-07- current_time 当前时间
select current_time; -- 10:14:27.558098+08- current_timestamp 当前事务开始时的时间戳
select current_timestamp; -- 2018-08-07 10:29:22.029703+08- date_part(text, timestamp) 获取子域，等同于extract
select date_part('hour', timestamp '2001-02-16 20:34:13')- date_trunc(text, timestamp) 截断成指定的精度
select date_trunc('hour', timestamp '2001-02-16 20:34:13')- extract(field from timestamp) 获取子域 同date_part
select extract('hour' from timestamp '2001-02-16 20:34:13')- now() 当前事务开始的时间戳
select now() -- 2018-08-07 10:35:13.367511+08使用interval类型可以直接对事件类型进行计算，用来计算时间的加减
3.数值计算函数
- abs 绝对值
- ceil、ceiling 最小整数
- exp 自然指数
- ln 自然对数
- log 以10为底的对数
- log(b,x) 以b为底的对数
- mod(y,x) y/x的余数
- pi() 派
- power(a,b) a的b次幂
- random() 0-1之间的随机数
- floor() 最大整数
- round(x,s) s位小数
- sign(x) 符号化
- sqrt(x) 平方根
- cbrt(x) 立方根
- trunc(x,s) 截断为s位小数
4.其他常用函数
- generate_series(x,y,t)
序列号生成函数，生成多行数据从x到y，步长为t，默认是1。
select generate_series(2,20,2);- md5、hashbpchar
hash函数
md5的hash算法精度为128位，返回一个字符串
hashbpchar的精度是32位，返回一个integer类型
select hashbpchar('100');
select hashbpchar('helloworld');- 分析函数
- 聚合函数返回各个分组的结果
- 开窗函数则为每一行返回结果
rank()、row_number() over(partition by a order by b)
三、注意点
1.缩进风格：必须使用空格，不允许使用【Tab】键。以免在用不同的编辑器阅读程序时，因【Tab】键 所设置的空格数目不同而造成程序布局不整齐；
2.适量换行：避免将复杂的SQL 语句写到同一行，建议要在关键字和谓词处换行。
3.*号规则：避免使用SELECT * 语句；不要用*来代替所有字段，应给出字段列表，以避免在表结构发生变化时应用程序出现无法识别的情况。
4.长度匹配规则：确保变量和参数在类型和长度上与表数据列相匹配。如果与表数据列宽度不匹配，则当较宽或较大的数据传进来时会产生运行异常。
END 2018-08-02 09:59:53
