当前位置: 首页 > 编程日记 > 正文

DataBase 之 拉链表结构设计

一、概念

拉链表是针对数据仓库设计中表存储数据的方式而定义的,顾名思义,所谓拉链,就是记录历史。记录一个事物从开始,一直到当前状态的所有变化的信息。

在历史表中对客户的一生的记录可能就这样几条记录,避免了按每一天记录客户状态造成的海量存储的问题:

(NAME)人名  (START-DATE)开始日期  (END-DT)结束日期  (STAT)状态

client              19000101                  19070901             H在家
    client              19070901                  19130901             A小学
    client              19130901                  19160901             B初中
    client              19160901                  19190901             C高中
    client              19190901                  19230901             D大学
    client              19230901                  19601231             E公司
    client              19601231                  29991231             H退休在家

上面的每一条记录都是不算末尾的,比如到19070901,client已经在A,而不是H了。所以除最后一条记录因为状态到目前都未改变的,其余的记录实际上在END-DT那天,都不在是该条记录END-DT那天的状态。这种现象可以理解为算头不算尾。

二、算法

1、采集当日全量数据到“ ND(NewDay) ”表;

2、可从历史表中取出昨日全量数据存储到“ OD(OldDay) ”表;

3、“ (ND-OD) ”(即两个表进行全字段比较,ND 数据减去 OD 数据)就是当日新增和变化的数据,也就是当天的增量,用“ W_I ”表示;

4、“ (OD-ND) ”(即两个表进行全字段比较,OD 数据减去 ND 数据)为状态到此结束需要封链的数据,用“ W_U ”表示;

5、将“ W_I ”表的内容全部插入到“ 历史表 ”(比ND表和OD表多两个字段(start_date,end_date)) 中,这些是新增记录,start_date为当天,而end_date为max值;

6、对“ 历史表 ”进行“ W_U ”部份的更新操作,start_date保持不变,而end_date改为当天,也就是“关链操作”;

拉链表 实际上是一个数据的有效更新处理方法。 在定义了对于该方法支持的几个字段后可以对数据进行处理。

讲解一个加了几个字段的的一种处理方法

模拟场景

1、定义两个临时表,一个为当日全量数据,另一个为需要新增或更新的数据;

CREATE TABLE A_day_full;

CREATE TABLE B;

2、获取当日全量数据

INSERT INTO   A   SELECT (a,b,c,cur_date, max_date) FROM SOURCE_Table

3、抽取新增或有变化的数据,从A临时表到B临时表;

INSERT INTO   B SELECT fieldname  FROM  A WHERE   NOT IN (select fieldname  from A_HIS where end_date='max_date');

4、更新历史表的失效记录的end_date为max值

UPDATE A1  FROM a_his  A1,  B  A2 SET End_Date='current_date' WHERE A1.xx=A2.xx  AND A1.End_Date='max_date';

5、将新增或者有变化的数据插入目标表*/

INSERT INTO A_HIS SELECT * FROM B;

相关文章:

给每个函数写一个记录日志的功能.

# 功能要求: 每一次调用函数之前, 要将函数名称, 时间节点记录到log的日志中.# 所需模块:# import time## def logger(fn):# def inner(*args, **kwargs):# # fn.__name__ # 函数名字# f open("log", mode"a", encoding"utf-8&q…

c如何正常中断一个运行的线程

最近开发一些东西,线程数非常之多,当用户输入CtrlC的情形下,默认的信号处理会把程序退出,这时有可能会有很多线程的资源没有得到很好的释放,造成了内存泄露等等诸如此类的问题,本文就是围绕着这么一个使用场…

Vertica 分区表设计(续)

在上篇Vertica 分区表设计中,已经提过了Vertica的分区表创建和分区删除,但举例上并不系统, 本篇文章将系统的对分区表设计及后续的删除分区进行讲解。 概述:Vertica分区表(天和月)创建以及删除分区 1.分区表…

【ACM】杭电OJ 1181

http://acm.hdu.edu.cn/showproblem.php?pid1181 DFS搜索&#xff08;递归函数&#xff09; #include <iostream> #include <cstdio> #include <cstring> #include <algorithm> #include <cstdlib> using namespace std; char s[1000]; int k…

最热开源无服务器函数:五大Fission架构参考

“无服务器”现在是极具诱惑的技术趋势&#xff0c;没有什么比管理服务器更让人痛苦。亚马逊、微软和谷歌都在云中提供无服务器专有接口。相较于这些云供应商的商业化产品&#xff0c;开源无服务器架构可免于被云厂商锁定&#xff0c;但要以牺牲云便利性和易用性为代价。近一年…

高德API+Python解决租房问题

项目简介&#xff1a;编写Python脚本爬取某租房网站的房源信息&#xff0c;利用高德的 js API 在地图上标出房源地点&#xff0c;划出距离工作地点1小时内可到达的范围&#xff0c;附上公交路径规划功能查看不同路径的用时。 本教程由ekCit发布在实验楼&#xff0c;完整教程及在…

SIMD向量化运算

随着机器学习等人工智能技术的飞速发展&#xff0c;矩阵乘法的应用越来越多&#xff0c;intel芯片先后提供了不同系列的向量指令&#xff0c;包括mmx、sse、avx等&#xff0c;支持simd操作。后来为了更好地支持矩阵乘法&#xff0c;又增加了fma&#xff08;Fused Multiply-Add&…

【数据结构】二叉树及其相关操作

二叉树的定义 二叉树是一个由结点构成的有限集合&#xff0c;这个集合或者为空&#xff0c;或者由一个根节点及两棵互不相交的分别称作这个根节点的左子树和右子树的二叉树组成。 二叉树并非一般的树形结构的特殊形式&#xff0c;它们是两种不同的数据结构。 二叉树与一般树…

函数节流与函数防抖

什么是函数节流与函数防抖 举个栗子&#xff0c;我们知道目前的一种说法是当 1 秒内连续播放 24 张以上的图片时&#xff0c;在人眼的视觉中就会形成一个连贯的动画&#xff0c;所以在电影的播放&#xff08;以前是&#xff0c;现在不知道&#xff09;中基本是以每秒 24 张的速…

makefile 中 =, :=, ?=, +=的区别

在Makefile中我们经常看到 : ? 这几个赋值运算符&#xff0c;那么他们有什么区别呢&#xff1f;我们来做个简单的实验 新建一个Makefile&#xff0c;内容为&#xff1a; ifdef DEFINE_VRE VRE “Hello World!” else endif ifeq ($(OPT),define) VRE ? “Hello W…

ubuntu 编译源码包 dsc diff.gz orig.tar.gz

2019独角兽企业重金招聘Python工程师标准>>> 1&#xff09; 在获取源码包之前&#xff0c;确保在软件源配置文件/etc/apt/sources.list中添加了deb-src项以tree实用程序&#xff08;以树型结构获取目录树&#xff09;为例&#xff0c;介绍Ubuntu中如何管理源码包&am…

【ACM】杭电OJ 2552

本来还查了atan 和 atan2 的用法&#xff0c;结果总是WA 看了解析之后才知道原来是要公式推导&#xff0c;最后得出所求的式子是一个等式&#xff0c;结果为1。 所以&#xff0c;以后出类似与数学公式的题&#xff0c;可能是要手算推到&#xff0c;在输出特定的结果。&#x…

蚂蚁金服天街:OceanBase 在大促 5 年来的技术演进

为了与金融从业者、科技从业者共同探讨金融 业务的深层次问题&#xff0c;蚂蚁金服联手 TGO 鲲鹏会&#xff0c;在 12 月 8 日举办了「走进蚂蚁金服&#xff1a;双十一背后的蚂蚁金服技术支持」活动。蚂蚁金服高级技术专家天街为大家分享了《蚂蚁双 11 大促 OceanBase 核心技术…

OTA升级flash分区

什么是在线OTA升级 - OTA是Over-the-Air的简写&#xff0c;空中下载技术的意思。 - OTA在线升级在日常消费电子产品中很常见&#xff0c;比如手机&#xff0c;机顶盒等&#xff0c;通过网络&#xff0c;下载升级数据包&#xff0c;更新操作系统等底层固件进行…

MD5与Base64的思考

MD5加密是对任意长的数据使用MD5哈稀算法散列为4个32位组,若格式化为ASCII字符则为16字符,若格式化16进制表示,则为32字符. (MD5的具体算法请参阅相关书籍和资料)MD5广泛用于数据校验和完整性检验.且不可逆.理论上为抗碰撞的在2004年8月17日,MD5遭遇重创,山东大学的王小云做了…

【ACM】杭电OJ 1076

数组要开的大一些&#xff0c;一开始数组只开到100005&#xff0c;就显示了错误的数据 AC代码&#xff1a; #include <iostream> #include <cstring> using namespace std; const int maxn 10000005; int a[maxn]; int main () {int i;memset(a,0,sizeof(a));fo…

IDEA ctrl+alt+L 格式化快捷键无效时解决

这几天发现自己Intellij IDEA ctrlaltL格式化代码无效 设置里面按照快捷键搜索 按了 ctrlaltL 也没反应 但是我设置的确实是默认的 ctrlaltL 最后终于找到了问题所在 原来是开网易云音乐的锅 网易云会有一个全局的快捷键ctrlaltL跟idea冲突 去网易云关了就好了 转载于:https:/…

gpio pin和pad的区别

PIN指芯片封装好后的管脚&#xff0c;即用户看到的管脚&#xff1b; PAD是硅片的管脚&#xff0c;是封装在芯片内部的&#xff0c;用户看不到。 PAD到PIN之间还有一段导线连接的。

【ACM】杭电OJ 1013

WA代码 输入很大的数的时候会输出“-1”&#xff0c;所以考虑用字符数组来储存输入的数据。 #include <iostream> #include <cstring> #include <cstdio> using namespace std; long long sum; long long fun (int n) {sum0;if(n<9) return n;while(n){s…

\\s+ split替换

出自&#xff1a; http://www.tuicool.com/articles/vy2ymm 详解 "\\s" 正则表达式中\s匹配任何空白字符&#xff0c;包括空格、制表符、换页符等等, 等价于[ \f\n\r\t\v] \f -> 匹配一个换页\n -> 匹配一个换行符\r -> 匹配一个回车符\t -> 匹配一个制表…

ubuntu18.04下双机驱动调试

环境搭建&#xff1a;https://blog.51cto.com/haidragon/2337256这里要先说下如果要下内核断点要先在编译前去掉写保护&#xff0c;但是下自己写的驱动可以不要。第二个最好编译完后压缩vm系统文件然后复制一份&#xff0c;这样就调试机与被调试机环境一模一样&#xff0c;同样…

如何独立开发一个网络请求框架

&#xff08;原创出处为本博客&#xff1a;http://www.cnblogs.com/linguanh/&#xff09; 目录&#xff1a; 前言 准备工作 开发模式 开发原则 线程 高并发 TCP/UDP 本类介绍 开发选择 功能列表 优点 拓展 完整代码 用法例子 前言&#xff1a; 已开源到GitHub&#xff0c;希望…

【ACM】杭电OJ 1284(待更)

#include<iostream> using namespace std; int main(){int n;while(cin>>n){int ans0; for(int i0;i<n/3;i){ //对3的个数进行枚举 int temp(n-3*i); //除了这i个3之外剩余的钱数 //temp/2,剩余部分换成2的总种类数&#xff0c;anstemp/21; //这…

c语言头文件中定义inline static相关函数的优劣

头文件中常见static inline函数&#xff0c;于是思考有可能遇到的问题&#xff0c;如头文件经常会被包含会不会产生很多副本&#xff1f;网上说法不一。于是自己验证。经过arm-none-eabi-gcc下测试后得出结论。 inline 关键字实际上仅是建议内联并不强制内联&#xff0c;gcc中O…

c语言inline详解

本文介绍了GCC和C99标准中inline使用上的不同之处。inline属性在使用的时候&#xff0c;要注意以下两点&#xff1a;inline关键字在GCC参考文档中仅有对其使用在函数定义&#xff08;Definition&#xff09;上的描述&#xff0c;而没有提到其是否能用于函数声明&#xff08;Dec…

【ACM】杭电OJ 2090

题目中给出的四舍五入的条件可以忽略不计了&#xff0c;因为提交的程序没有考虑四舍五入&#xff0c;照样AC了 printf("%.1lf\n",sum); AC代码&#xff1a; 写的有点复杂了&#xff0c;其实不用定义结构体也可以。 #include<iostream> #include <cstdi…

属性配置文件详解(2)(十七)

过命令行设置属性值 相信使用过一段时间Spring Boot的用户&#xff0c;一定知道这条命令&#xff1a;java -jar xxx.jar --server.port8888&#xff0c;通过使用–server.port属性来设置xxx.jar应用的端口为8888。 在命令行运行时&#xff0c;连续的两个减号--就是对applicatio…

git track远程分支

在本地初始化仓库&#xff0c;提交代码时会出现&#xff0c;上游为空&#xff0c;当前分支为选择&#xff0c;等错误提示。其实就是本地仓库分支和远程仓库分支并未进行关联&#xff0c;即本地分支未追踪到远程分支。 1.本地和远程的状态 本地&#xff1a; 本地所有的文…

HTMLDOM中三种元素节点、属性节点、文本节点的测试案例

HTML dom中常用的三种节点分别是元素节点、属性节点、文本节点。 具体指的内容可参考下图&#xff1a; 以下为测试用例: <!DOCTYPE html> <html><head><title>元素节点、属性节点、文本节点的测试</title><meta name"Author" conte…

【ACM】DFS 全排列 回溯

深入体会一下DFS&#xff0c;回溯 在一些OJ上endl和“\n”还是有区别的&#xff01;&#xff01;&#xff01; 题目链接&#xff1a;http://codevs.cn/problem/1294/ 方法一&#xff1a; #include <iostream> #include <cstdio> #include <cstring> usin…