用户您好!请先登录!

分类目录数据仓库

数据仓库与OLAP实现

数据仓库建模是数据仓库开发中最核心的部分,但就工程化而言,完整的数据仓库系统还会涉及其他一些组件的开发,其中最主要的是ETL工程,在线分析处理工具(OLAP)和商务智能(BI)应用等。这里将对这些方面做一个总体性的介绍包括OLAP相关知识。

创建数据仓库

数据仓库的创建方法和数据库类似,也是通过编写DDL语句来实现。在过去,数据仓库系统大都建立在RDBMS上,因为维度建模其实也可以看做是关系建模的一种。但如今随着开源分布式数据仓库工具如Hadoop Hive,Spark SQL的兴起,开发人员往往将建模和实现分离。使用专门的建模软件进行ER建模、关系建模、维度建模,而具体实现则在Hive/Spark SQL下进行。

阅读更多

数据仓库那点事(1)

阅读本文前,请先回答下面两个问题:

  1. 数据库和数据仓库有什么区别?
  2. 某大公司Hadoop Hive里的关系表不完全满足完整/参照性约束,也不完全满足范式要求,甚至第一范式都不满足。这种情况正常吗?

如果您不能五秒内给出答案,那么本文应该是对您有帮助的。

注:如果您还不清楚完整参照性约束,请参考《数据库关系建模》,如果您还不了解范式,请参考《更新异常与规范化设计》。

数据库的”分家”

随着关系数据库理论的提出,诞生了一系列经典的RDBMS,如Oracle,MySQL,SQL Server等。这些RDBMS被成功推向市场,并为社会信息化的发展做出的重大贡献。然而随着数据库使用范围的不断扩大,它被逐步划分为两大基本类型:

1. 操作型数据库

主要用于业务支撑。一个公司往往会使用并维护若干个数据库,这些数据库保存着公司的日常操作数据,比如商品购买、酒店预订、学生成绩录入等;

2. 分析型数据库

主要用于历史数据分析。这类数据库作为公司的单独数据存储,负责利用历史数据对公司各主题域进行统计分析;

那么为什么要”分家”?在一起不合适吗?能不能构建一个同样适用于操作和分析的统一数据库?

阅读更多