常见的数据仓库类型有哪些

五个

‌**一个公司通常会有五个主要的数据仓库，分别是：操作数据存储（ODS）、企业数据仓库（EDW）、数据集市（Data Mart）、实时数据仓库（Real-Time Data Warehouse）和云数据仓库（Cloud Data Warehouse）**‌‌1。

---

主题域

主题域通常是 联系较为紧密的数据主题的集合。可以根据业务的关注点，将这些数据主题划分到不同的主题域。主题域的确定必须由最终用户和数据仓库的设计人员共同完成。

---

OLTP（联机事务处理）、OLAP（联机分析处理）与HTAP（混合事务/分析处理）构成了现代数据处理的三大核心范式，分别满足实时业务操作、深度分析及实时决策的融合需求。

---

一、基本概念

1. OLTP（联机事务处理）
   • 定义：面向高频、短时的事务操作（如增删改查），强调实时性、数据一致性和高并发处理能力。
   • 特点：
     • 数据更新频繁，每次操作涉及少量数据（如账户转账、订单提交）。
     • 严格遵循ACID原则（原子性、一致性、隔离性、持久性）。
     • 典型技术栈：MySQL、PostgreSQL、Oracle。
   • 核心价值：保障业务系统稳定运行，支撑每秒数万级事务。
2. OLAP（联机分析处理）
   • 定义：面向复杂查询与历史数据分析，支持多维度聚合、趋势预测和决策支持。
   • 特点：
     • 数据更新少，以批量导入为主，查询涉及海量历史数据。
     • 采用列式存储优化读取效率，支持多维数据模型（星型/雪花模型）。
     • 典型技术栈：ClickHouse、Apache Doris、Snowflake。
   • 核心价值：挖掘数据深层价值，驱动战略决策。
3. HTAP（混合事务/分析处理）
   • 定义：融合OLTP与OLAP能力，在单一平台上同时处理实时事务与分析查询，消除ETL延迟。
   • 特点：
     • 通过行列混合存储（行存处理事务+列存支持分析）实现负载隔离。
     • 支持实时访问最新数据进行分析（如风控场景秒级响应）。
     • 典型技术栈：TiDB、PolarDB（HTAP模式）、Oracle Exadata。
   • 核心价值：打破数据孤岛，实现业务闭环的实时决策。

---

工具	核心功能侧重	ETL 阶段对应
Kettle	数据转换与处理、可视化流程编排	全流程（抽取、转换、加载）
DataX	异构数据源间的高效同步	侧重抽取与加载，弱转换能力
Flume	实时日志采集与传输	侧重抽取（数据采集）
Kafka	高吞吐量消息队列与流处理	数据传输管道（辅助抽取与加载）