浅析大数据组件HBase架构原理-





首页 产品与服务 解决方案 客户案例 技术支持 合作发展 关于美创 用户退出 合作商登录 用户登录 申请试用

行业解决方案政府解决方案金融解决方案医疗解决方案教育解决方案能源解决方案物流交通解决方案

售后服务文档中心年度培训

渠道政策申请成为合作伙伴渠道专区

公司动态行业资讯安全研究

热门阅读

美创科技打造县域医疗灾备新标杆｜神木市医院 HIS 系统数据库分钟级切换演练实录

2025-07-02

百万罚单警示！DCAS助力金融机构筑牢数据安全防线，实现监管合规

2025-06-20

2025中国互联网产业年会丨《中国互联网产业绿色算力发展倡议》正式发布

2025-02-07

美创用户专访 | 精细化管理：医疗行业数据分类分级的策略与实践

2025-01-10

容灾演练双月报｜美创助力某特大型通信基础设施央企顺利完成多个核心系统异地容灾演练

2025-01-10

权威发布 | 美创数据安全一体化平台DSC市场份额排名前五，领跑专精厂商

2025-07-15

美创专家出席上海市《卫生健康数据分类分级要求》地方标准宣贯会

2025-07-11

美创“面向证券核心交易系统的韧性运行安全解决方案”获信创典型解决方案！

2025-07-09

首批｜美创智能数据安全分类分级平台获CCIA“网络安全新产品”

2025-07-09

国产数据库赋能｜美创2025年度技术培训精彩频现

2025-07-07

浅析大数据组件HBase架构原理

发布时间：2017-08-11 阅读次数： 424 次

随着大数据概念及技术的不断推广，HBase作为大数据技术中的一个重要框架也渐渐被人熟知，本文将简单地介绍HBase这个大数据常见组件。

HBase得名于Hadoop Database，是一个分布式存储系统，比较起传统的关系型数据库，例如SQL、ORACLE，HBase的优点在于，可以实现高性能的并发读写操作。同时，HBase不同于传统关系型数据库的面向行存储，HBase是面向列存储，列可以动态增加，列为空就不存储数据,能更好的节省存储空间。Hbase还会对数据进行透明切分，使得存储本身具有了水平伸缩性。正因为这些优点，Hadoop+Zookeeper+HBase很自然的成为现在大数据技术中一套较为流行且成熟的数据存储和计算框架。

接下来，来了解一下HBase的基本架构和原理。

如上图所示，HBase中所有的数据文件都存储在hadoop的hdfs文件系统中，主要包括上图中HFILE和HLOG FILE两种文件类型。HFile是Hadoop的二进制格式文件，实际上StoreFile就是对HFile做了轻量级包装，即StoreFile底层就是HFile，存储着HBASE中最基础的数据。HLog中记录了写入数据的归属信息，可以简单的理解为操作记录，可作为hbase恢复数据的依据。

架构的上层是HRegion和HRegionServer，HRegionServer内部管理了一系列HRegion对象，每个HRegion对应了HBase表中的一个 Region。在HBase的实际使用中，会根据数据特性对数据进行划分region的存储，以避免数据存储的热点问题。而每个HRegion由多个HStore组成，HStore存储是HBase存储的核心，其由两部分组成，一部分是MemStore，一部分是StoreFiles。MemStore是Sorted Memory Buffer，用户写入的数据首先会放入MemStore，当MemStore满了以后会Flush成一个StoreFile（底层实现是HFile），当StoreFile文件数量增长到一定阈值，会触发Compact合并操作，将多个StoreFiles合并成一个StoreFile，形成最基础的数据存储文件。

架构中还包括HMaster和zookeeper，这里只做简单介绍，HMaster在功能上主要负责hbase表和Region的管理工作，包括表的增删改查，调整region的分布，进行新region的分配以及region的迁移等。Zookeeper负责存储HBase表的一些元信息和HMaster的地址，客户端可以通过zookeeper来找到HMaster，同时HMaster也可以通过zookeeper来感知到各个HRegionServer的健康状态。