当前位置：首页 > 编程日记 > 正文

Rocksdb 写入数据后 GetApproximateSizes 获取的大小竟然为0？

编程日记 2024-03-31 04:30:00

项目开发中需要从引擎获取一定范围的数据大小，用作打点上报，测试过程中竟然发现写入了一部分数据之后通过GetApproximateSizes 获取写入的key的范围时取出来的数据大小竟然为0。。。难道发现了一个bug?（欣喜）

因为写入的数据是小于一个sst的data-block(默认是4K)，会不会因为GetApproximateSizes 对小于一个data-block的数据大小都默认是0？对于一个严谨的引擎，这么明显的问题显然不可忍。

问题代码：

#include <iostream>
#include <string>#include <rocksdb/db.h>
#include <rocksdb/slice.h>#define VALUE_SIZE 100using namespace std;
using namespace rocksdb;void check_status(Status s, std::string op) {if (!s.ok()) {cout << " Excute " << op << " failed "<< s.ToString() << endl;exit(1);}
}static std::string Key(int i) {char buf[100];snprintf(buf, sizeof(buf), "key%06d", i);return std::string(buf);
}int main() {rocksdb::DB* db;rocksdb::Options options;rocksdb::Status s;options.create_if_missing = true;options.compression = kNoCompression;// 打开dbcheck_status(rocksdb::DB::Open(options, "./db", &db), "Open DB");// 写入10条key-value，value大小是100Bfor (int i = 0;i < 10; i++) {check_status(db->Put(WriteOptions(), Key(i), Slice(string(VALUE_SIZE, 'a' + (i % 26)))), "Put DB");}// 取其中的key范围为[1,3]，获取处于这个范围的key-value大小uint64_t size;string start = Key(1);string end = Key(3);Range r(start, end);db->GetApproximateSizes(&r, 1, &size);cout << "Approximate size is " << size << endl; delete db;return 0;
}

最终的执行结果是：

Approximate size is 0

本来开开心心，很明显的问题，想要分析一下原因，向社区提一个PR，结果翻看了一下源代码就没心情了，还是自己太天真。

这个获取指定范围的key大小的接口是有一个额外参数的include_flags：

  virtual void GetApproximateSizes(const Range* ranges, int n, uint64_t* sizes,uint8_t include_flags = INCLUDE_FILES) {GetApproximateSizes(DefaultColumnFamily(), ranges, n, sizes, include_flags);}

这个额外参数是用来指定从rocksdb的哪一个组件获取指定范围的key的大小，比如从memtable,或则 sst？
自己使用默认参数写入了一小部分数据，显然没有达到触发flush的条件，都会存储在memtable，所以这里从默认的sst文件获取这个范围的key大小时显然获取不到。

可以继续看更底层的实现：

Status DBImpl::GetApproximateSizes(const SizeApproximationOptions& options,ColumnFamilyHandle* column_family,const Range* range, int n, uint64_t* sizes) {......Version* v;auto cfh = static_cast_with_check<ColumnFamilyHandleImpl>(column_family);auto cfd = cfh->cfd();// 增加针对当前cf的引用SuperVersion* sv = GetAndRefSuperVersion(cfd);v = sv->current;// 允许同时传入多个range,这里对传入的range进行遍历for (int i = 0; i < n; i++) {Slice start = range[i].start;Slice limit = range[i].limit;// Add timestamp if neededstd::string start_with_ts, limit_with_ts;if (ts_sz > 0) {// Maximum timestamp means including all key with any timestampAppendKeyWithMaxTimestamp(&start_with_ts, start, ts_sz);// Append a maximum timestamp as the range limit is exclusive:// [start, limit)AppendKeyWithMaxTimestamp(&limit_with_ts, limit, ts_sz);start = start_with_ts;limit = limit_with_ts;}// Convert user_key into a corresponding internal key.InternalKey k1(start, kMaxSequenceNumber, kValueTypeForSeek);InternalKey k2(limit, kMaxSequenceNumber, kValueTypeForSeek);sizes[i] = 0;// 从sst文件中取指定key范围的大小if (options.include_files) {sizes[i] += versions_->ApproximateSize(options, v, k1.Encode(), k2.Encode(), /*start_level=*/0,/*end_level=*/-1, TableReaderCaller::kUserApproximateSize);}// 从memtable中取出指定key范围的大小，包括mem和immif (options.include_memtabtles) {sizes[i] += sv->mem->ApproximateStats(k1.Encode(), k2.Encode()).size;sizes[i] += sv->imm->ApproximateStats(k1.Encode(), k2.Encode()).size;}}// 释放对superversion的引用ReturnAndCleanupSuperVersion(cfd, sv);return Status::OK();
}

再对应到从sst文件的blockbased table中取数据，需要创建blockbased的index的iter来取start-end key所属的datablock的偏移地址。
如果要从memtable 中取数据，也就是需要遍历skiplist，顺序逐层遍历跳表，找到属于start-end范围内的所有key的个数，统一计算大小。

经过上面一轮的分析，我们就知道了想要通过GetApproximateSizes 获取准确的一个区间内的key-value大小，需要同时计算memtable+sst的大小，这才足够精确。

ps: 同样的数据放在memtable和放在sst中是不一样的，因为sst中除了data-block中key-value数据，还有indexblock,还有metaindex，还有footer。所以统计同样的数据在memtable和sst中会有一些差异。

最终正确使用GetApproximateSizes() 接口的方式如下：

#include <iostream>
#include <string>#include <rocksdb/db.h>
#include <rocksdb/slice.h>#define VALUE_SIZE 100using namespace std;
using namespace rocksdb;void check_status(Status s, std::string op) {if (!s.ok()) {cout << " Excute " << op << " failed "<< s.ToString() << endl;exit(1);}
}static std::string Key(int i) {char buf[100];snprintf(buf, sizeof(buf), "key%06d", i);return std::string(buf);
}int main() {rocksdb::DB* db;rocksdb::Options options;rocksdb::Status s;options.create_if_missing = true;options.compression = kNoCompression;check_status(rocksdb::DestroyDB("./db", options),"DestroyDB");check_status(rocksdb::DB::Open(options, "./db", &db), "Open DB");for (int i = 0;i < 3; i++) {check_status(db->Put(WriteOptions(), Key(i), Slice(string(VALUE_SIZE, 'a' + (i % 26)))), "Put DB");}uint64_t size;string start = Key(1);string end = Key(3);Range r(start, end);db->GetApproximateSizes(&r, 1, &size);cout << "Approximate size is " << size << endl; uint8_t include_both = DB::SizeApproximationFlags::INCLUDE_FILES |DB::SizeApproximationFlags::INCLUDE_MEMTABLES;db->GetApproximateSizes(&r, 1, &size, include_both);cout << "After set memtable flag, Approximate size is " << size << endl; db->Flush(FlushOptions());db->GetApproximateSizes(&r, 1, &size);cout << "After flush, Approximate size is " << size << endl; delete db;return 0;
}

输出如下：

Approximate size is 0
After set memtable flag, Approximate size is 238
After flush, Approximate size is 1151

好吧，不用提bug了。。。。。。

https://www.dkcj.cn/info/3961.html

Rocksdb 写入数据后 GetApproximateSizes 获取的大小竟然为0？

相关文章：

Java项目:在线婚纱摄影预定系统(java+javaweb+SSM+springboot+mysql)

Linux Terminal 控制终端的使用

如何防止代码腐烂

CORS在Spring中的实现

从BloomFilter到Counter BloomFilter

进程、线程、多线程相关总结

Java项目:在线蛋糕商城系统(java+jsp+jdbc+mysql)

业界对生成图片缩略图的做法归纳

thinkPHP5.0 URL路由优化

Rocksdb 获取当前db内部的有效key个数（估值）

Java项目:网上花店商城系统(java+jsp+servlert+mysql+ajax)

使用Uboot启动内核并挂载NFS根文件系统

Centos系统上安装php遇到的错误解决方法集锦

2.27 MapReduce Shuffle过程如何在Job中进行设置

Rocksdb Slice使用中的一个小坑

Java项目:仿天猫网上商城项目(java+jsp+servlet+mysql+ajax)

转--Android如何在java代码中设置margin

poj12月其他题解（未完）

0409-0416的笔记

Linux NUMA 架构：基础软件工程师需要知道一些知识

Java项目:网上书城+后台管理系统(java+jsp+servlert+mysql+ajax)

java.util.concurrent包API学习笔记

oracle读书记录

输入、方法的运用

Rocksdb 利用recycle_log_file_num 重用wal-log文件

Java项目:网上商城系统(java+jsp+servlert+mysql+ajax)

clock函数返回负值~ (转)

c实现面向对象编程（3）

echarts - 条形图grid设置距离绘图区域的距离

TitanDB 中使用Compaction Filter ，产生了预期之外几十倍的读I/O