hbase rocksdb怎样启用

652
2024/12/27 3:31:30
栏目: 大数据
开发者测试专用服务器限时活动,0元免费领,库存有限,领完即止! 点击查看>>

在HBase中启用RocksDB作为存储引擎,需要对HBase进行一些配置和编译修改。以下是一些关键步骤:

  1. 安装依赖: 确保你已经安装了RocksDB的C++库和相关的开发工具。你可以从RocksDB官方GitHub仓库下载并按照说明进行安装。

  2. 编译HBase: 如果你还没有编译HBase,需要先下载并编译HBase。在编译时,需要确保启用了RocksDB支持。可以通过以下方式启用:

    ./configure --with-rocksdb
    make
    sudo make install
    
  3. 配置HBase: 编辑HBase的配置文件hbase-site.xml,添加或修改以下配置项:

    <property>
      <name>hbase.regionserver.storage.engine</name>
      <value>rocksdb</value>
    </property>
    <property>
      <name>hbase.hstore.blockingStoreFiles</name>
      <value>100</value>
    </property>
    <property>
      <name>hbase.hstore.compactionThreshold</name>
      <value>100000</value>
    </property>
    <property>
      <name>hbase.hstore.compactionFilterType</name>
      <value>BloomFilter</value>
    </property>
    <property>
      <name>hbase.hstore.bloom.block.type</name>
      <value>ROW</value>
    </property>
    <property>
      <name>hbase.hstore.bloom.rowcol.type</name>
      <value>ROWCOL</value>
    </property>
    <property>
      <name>hbase.hstore.bloom.rowcol.fpp</value>
      <value>0.01</value>
    </property>
    <property>
      <name>hbase.hstore.bloom.rowcol.bits</value>
      <value>1048576</value>
    </property>
    <property>
      <name>hbase.hstore.bloom.rowcol.num</value>
      <value>10</value>
    </property>
    <property>
      <name>hbase.hstore.bloom.rowcol.bitsPerKey</value>
      <value>1024</value>
    </property>
    <property>
      <name>hbase.hstore.bloom.rowcol.numPerKey</value>
      <value>3</value>
    </property>
    <property>
      <name>hbase.hstore.bloom.rowcol.fppPerKey</value>
      <value>0.001</value>
    </property>
    
  4. 启动HBase: 启动HBase服务器,确保RocksDB存储引擎已经正确启用。

    hbase-start.sh
    
  5. 验证配置: 可以通过HBase shell或Java API来验证RocksDB是否已经成功启用。例如,在HBase shell中运行以下命令:

    describe 'cf'
    

    这将显示列族的详细信息,包括存储引擎类型。

通过以上步骤,你应该能够成功地在HBase中启用RocksDB作为存储引擎。如果在过程中遇到任何问题,请参考HBase和RocksDB的官方文档,或者寻求社区的帮助。

辰迅云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>

推荐阅读: hbase建表能支持复杂查询吗