5 HBase

Wu Jun 2019-04-24 22:06:48
11 分布式 > 03 分布式存储

HBASE官网

参考: HBase 深入浅出

1 HBase 简介

2 HBASE架构

1)Client

可以通过 HBase 提供的各式语言API 库访问集群。

API 库也会维护一个本地缓存来加快对 HBase 对访问,比如缓存中记录着 Region 的位置信息。Client 可直接连接 RegionServer,并通信获取 HBase 中的数据。

2)Master

主要为各个 RegionServer 分配 Region,负责 RegionServer 的负载均衡,管理用户对于 Table 对 CRUD 操作。

依赖于Zookeeper,可允许多个Master节点共存。只有一个Master提供服务,其他Master节点备用。工作Master节点宕机时,备用Master接管集群

3)Region Server

4)Zookeeper

3 HBASE基本概念

4 HBASE物理模型

每个列族存储在HDFS上的一个单独文件中,空值不会被保存。

5 工作原理

  1. Client 通过 Zookeeper 找到对应 Region Server
  2. 更新操作先记录到 HLog
  3. 然后写入 Store 的 MemStore
  4. MemStore 超过阈值后,持久化为 StoreFile
  5. StoreFile 写入 HDFS 的 HFile