当前位置：首页 > 编程日记 > 正文

Rocksdb Slice使用中的一个小坑

编程日记 2024-03-30 21:00:01

本文记录一下使用Rocksdb Slice过程中的一个小小坑，差点没一口老血吐出来。

rocksdb的Slice 数据结构是一个小型得不可变类string数据结构，设计出来的目的是为了保证rocksdb内部处理用户输入的key在从内存到持久化磁盘的整个处理链路是不会被修改的，比较方便得从user_key 解码出internal_key。

如果把这个数据结构当作普通字符串来使用，会有意想不到的收获。

Slice数据结构代码如下：

class Slice {public:// Create an empty slice.Slice() : data_(""), size_(0) {}// Create a slice that refers to d[0,n-1].Slice(const char* d, size_t n) : data_(d), size_(n) {}// Create a slice that refers to the contents of "s"/* implicit */Slice(const std::string& s) : data_(s.data()), size_(s.size()) {}#ifdef __cpp_lib_string_view// Create a slice that refers to the same contents as "sv"/* implicit */Slice(std::string_view sv) : data_(sv.data()), size_(sv.size()) {}
#endif// Create a slice that refers to s[0,strlen(s)-1]/* implicit */Slice(const char* s) : data_(s) {cout << "called Slice(const char* s)" << endl;size_ = (s == nullptr) ? 0 : strlen(s); }// Create a single slice from SliceParts using buf as storage.// buf must exist as long as the returned Slice exists.Slice(const struct SliceParts& parts, std::string* buf);// Return a pointer to the beginning of the referenced dataconst char* data() const { return data_; }// Return the length (in bytes) of the referenced datasize_t size() const { return size_; }// Return true iff the length of the referenced data is zerobool empty() const { return size_ == 0; }// Return the ith byte in the referenced data.// REQUIRES: n < size()char operator[](size_t n) const {assert(n < size());return data_[n];}...// Return a string that contains the copy of the referenced data.// when hex is true, returns a string of twice the length hex encoded (0-9A-F)// Return a string that contains the copy of the referenced data.std::string ToString(bool hex = false) const {std::string result;  // RVO/NRVO/moveif (hex) {result.reserve(2 * size_);for (size_t i = 0; i < size_; ++i) {unsigned char c = data_[i];result.push_back(toHex(c >> 4));result.push_back(toHex(c & 0xf));}return result;} else {result.assign(data_, size_);return result;}}	......// Compare two slices and returns the first byte where they differsize_t difference_offset(const Slice& b) const;// private: make these public for rocksdbjni accessconst char* data_;size_t size_;// Intentionally copyable
};

主要是其维护了一个const char* data_成员变量，当我们用户通过db->Put(opts, "key","value",)时会调用Slice(const std::string& s)构造函数，并不会维护一个新的存储空间，而是使用本来的默认构造函数为data_分配的地址空间。

坑就来了，也就是想要通过如下方式创建一个新的Slice变量：

map<Slice,int, MetaCmp> mp;
void AddSlice(const Slice& buf, const int& value) {if(mp.find(buf) != mp.end()) {mp[buf] = value;} else {mp.insert(pair<Slice, int>(buf, value));}
}int main() {for(int i = 0;i < 10; i++) {Slice str("meta" + to_string(i));AddSlice(str, i);}return 0;
}

会发现每次创建的Slice都会放在一个地址中，你以为你创建了9个Slice，并且存放到了一个map中，但实际上Slice的数据地址其实只有一个内容。

called default constructor 0x10e756290
called Slice(const std::string& s) meta0 0x7ffee14b5738
called Slice(const std::string& s) meta1 0x7ffee14b5738
called Slice(const std::string& s) meta2 0x7ffee14b5738
called Slice(const std::string& s) meta3 0x7ffee14b5738
called Slice(const std::string& s) meta4 0x7ffee14b5738
called Slice(const std::string& s) meta5 0x7ffee14b5738
called Slice(const std::string& s) meta6 0x7ffee14b5738
called Slice(const std::string& s) meta7 0x7ffee14b5738
called Slice(const std::string& s) meta8 0x7ffee14b5738
called Slice(const std::string& s) meta9 0x7ffee14b5738
key: meta9 value: 9

也就是当我们调用Slice str("meta" + to_string(i));构造一个str对象时，实际存放数据的内存空间内容就已经被修改了，后续的AddSlice函数已经其内部添加到一个map中的操作其实都是在针对已存在的key进行的操作。

归根结底就是其维护了一个const char* data_;成员变量，它约束了当我们启动一个进程时data_指针指向的内容只能是常量区域的一个固定的地址，并不会为各位新开辟一个存储空间。

以上代码切换成我们的string 时，则每一次构造都会重新分配一个新的地址来存放我们的内容。

坑～～～

https://www.dkcj.cn/info/3946.html

Rocksdb Slice使用中的一个小坑

相关文章：

Java项目:仿天猫网上商城项目(java+jsp+servlet+mysql+ajax)

转--Android如何在java代码中设置margin

poj12月其他题解（未完）

0409-0416的笔记

Linux NUMA 架构：基础软件工程师需要知道一些知识

Java项目:网上书城+后台管理系统(java+jsp+servlert+mysql+ajax)

java.util.concurrent包API学习笔记

oracle读书记录

输入、方法的运用

Rocksdb 利用recycle_log_file_num 重用wal-log文件

Java项目:网上商城系统(java+jsp+servlert+mysql+ajax)

clock函数返回负值~ (转)

c实现面向对象编程（3）

echarts - 条形图grid设置距离绘图区域的距离

TitanDB 中使用Compaction Filter ，产生了预期之外几十倍的读I/O

Java项目:前台+后台精品图书管理系统(java+SSM+jsp+mysql+maven)

消除 activity 启动时白屏、黑屏问题

理解并实施:HSRP(CCNA200-120新增考点）

使用机智云APP控制战舰V3 （转）

从JoinBatchGroup 代码细节来看Rocksdb的相比于leveldb的写入优势

Java项目:嘟嘟网上商城系统(java+jdbc+jsp+mysql+ajax)

SOAPUI请求及mockservice 使用

空间直角坐标系与球面坐标互转

Ajax 的优势和不足

BitCask 持久化hash存储引擎原理介绍

C# Socket系列三 socket通信的封包和拆包

Java项目:CRM客户管理系统(java+SSM+jsp+mysql+maven)

Android 获取标题栏的高度

力扣—— 三维形体投影面积

一图带你入门Linux 存储I/O栈