当前位置：首页 > 编程日记 > 正文

Rocksdb iterator和snapshot 接口

编程日记 2024-04-06 13:30:00

Rocksdb提供迭代器来来访问整个db中的数据，就像STL中的迭代器功能一样，用来访问容器中的具体的数据。

访问形式以及访问接口有如下几种：

遍历所有的key-value

//打开db，并初始化一个迭代器指针
rocksdb::Iterator* it = db->NewIterator(rocksdb::ReadOptions());
for (it->SeekToFirst(); it->Valid(); it->Next()) {cout << it->key().ToString() << ": " << it->value().ToString() << endl;
}
assert(it->status().ok()); // Check for any errors found during the scan
delete it;

输出一个范围内的key-value，[small, big)

for (it->Seek(small);it->Valid() && it->key().ToString() < big;it->Next()) {
...
}
assert(it->status().ok()); // Check for any errors found during the scan

反向遍历db中的元素

for (it->SeekToLast(); it->Valid(); it->Prev()) {
...
}
assert(it->status().ok()); // Check for any errors found during the scan

反向遍历一个指定范围的key,如(small, big]

for (it->SeekForPrev(start);it->Valid() && it->key().ToString() > limit;it->Prev()) {
...
}
assert(it->status().ok()); // Check for any errors found during the scan

迭代器的接口可以算是 rocksdb针对客户端的核心接口，主要是提供排序以及高效查找的功能。

测试代码如下:

#include <iostream>
#include <string>
#include <rocksdb/db.h>
#include <rocksdb/iterator.h>
#include <rocksdb/table.h>
#include <rocksdb/options.h>
#include <rocksdb/env.h>using namespace std;static string rand_key(unsigned long long key_range) {char buff[30];unsigned long long n = 1;for (int i =1; i <= 4; ++i) {n *= (unsigned long long ) rand();}sprintf(buff, "%llu", n % key_range);string k(buff);return k;
}int main() {rocksdb::DB *db;rocksdb::Options option;option.create_if_missing = true;option.compression = rocksdb::CompressionType::kNoCompression;rocksdb::Status s = rocksdb::DB::Open(option, "./iterator_db", &db);if (!s.ok()) {cout << "Open failed with " << s.ToString() << endl;exit(1);}rocksdb::DestroyDB("./iterator_db", option);cout << "seek all keys : " << endl;for(int i = 0; i < 5; i ++) {rocksdb::Status s = db->Put(rocksdb::WriteOptions(), rand_key(9), string(10, 'a' + (i % 26)) );if (!s.ok()) {cout << "Put failed with " << s.ToString() << endl;exit(1);}}   /* traverse rocksdb key-value */rocksdb::Iterator *it = db->NewIterator(rocksdb::ReadOptions());for (it->SeekToFirst(); it->Valid(); it->Next()) {cout << it->key().ToString() << ": " << it->value().ToString() << endl;}string limit="4";string start="2";cout << "seek from '2' to '4' : " << endl;for(it->Seek(start); it->Valid()&&it->key().ToString() < limit;it->Next()) {cout << it->key().ToString() << ": " << it->value().ToString() << endl;} assert(it->status().ok());cout << "seek from last to start :" << endl;for (it->SeekToLast(); it->Valid(); it->Prev()) {cout << it->key().ToString() << ": " << it->value().ToString() << endl;}assert(it->status().ok());cout << "seek from '4' to '2' :" << endl;for(it->SeekForPrev(limit); it->Valid()&&it->key().ToString() > start;it->Prev()) {cout << it->key().ToString() << ": " << it->value().ToString() << endl;} assert(it->status().ok());delete it;db->Close();delete db;return 0;
}

输出如下:

seek all keys : 
3: cccccccccc
4: dddddddddd
7: bbbbbbbbbb
8: eeeeeeeeee
seek from '2' to '4' : 
3: cccccccccc
seek from last to start :
8: eeeeeeeeee
7: bbbbbbbbbb
4: dddddddddd
3: cccccccccc
seek from '4' to '2' :
4: dddddddddd
3: cccccccccc

且上层使用rocksdb迭代器接口时一般会和snapshot接口一同使用，用来实现MVCC的版本控制功能。
关于snapshot的实现，我们在Rocksdb事务：隔离性的实现中有提到，感兴趣的可以看看。

关于snapshot的客户端接口主要有:

sp1 = db->GetSnapshot(); 在当前db状态下创建一个snapshot，添加到内部维护的一个全局的snapshotImpl的双向链表中，并返回该snapshot的对象
read_option.snapshot = sp1; 将获取到的snapshot 传给read_option,进行Get操作
db->ReleaseSnapshot(sp1); 释放snapshot相关的资源（从双向链表中删除该节点）

隔离性的测试代码如下：

#include <iostream>
#include <string>
#include <rocksdb/db.h>
#include <rocksdb/iterator.h>
#include <rocksdb/table.h>
#include <rocksdb/options.h>
#include <rocksdb/env.h>using namespace std;int main() {rocksdb::DB *db;rocksdb::Options option;option.create_if_missing = true;option.compression = rocksdb::CompressionType::kNoCompression;rocksdb::Status s = rocksdb::DB::Open(option, "./iterator_db", &db);if (!s.ok()) {cout << "Open failed with " << s.ToString() << endl;exit(1);}// set a snapshot before putconst rocksdb::Snapshot *sp1 = db->GetSnapshot(); s = db->Put(rocksdb::WriteOptions(), "sp2", "value_sp2");assert(s.ok());// set a snapshot after putconst rocksdb::Snapshot *sp2 = db->GetSnapshot();rocksdb::ReadOptions read_option;read_option.snapshot = sp1;string value = "";//预期获取不到sp2的value，因为这里用的是sp1的快照s = db->Get(read_option, "sp2", &value); if(value == "") {cout << "Can't get sp2 at sp1!" << endl;}read_option.snapshot = sp2;// 能够获取到，使用的是sp2的快照，其是在put之后设置的s = db->Get(read_option, "sp2", &value); assert(s.ok());if(value != "") {cout << "Got sp2's value: " << value << endl;}db->ReleaseSnapshot(sp1);db->ReleaseSnapshot(sp2);

输出如下：

Can't get sp2 at sp1!
Got sp2's value: value_sp2

当然rocksdb也提供了更为复杂的mvcc特性，来以事务的方式支持不同的隔离级别。

https://www.dkcj.cn/info/4276.html

原生js自动完成 [转]

本来想用jquery的autocomplete的,可是需求有些变化,打算改源码,进了源码发现,改起来要的时间太长了,毕竟不是自己写的,改起来慢,在网上开始大肆搜罗资料,终于找到了类似的本文转自http://www.cnblogs.com/jaiho/archive/2011/02/28/js_autocomplete.html 完成有以下功能&#…

编程日记2024/04/06 13:00:00

linux 内存管理slab源码,Linux内核源代码情景分析-内存管理之slab-回收

图 1我们看到空闲slab块占用的若干页面，不会自己释放；我们是通过kmem_cache_reap和kmem_cache_shrink来回收的。他们的区别是：1、我们先看kmem_cache_shrink，代码如下：int kmem_cache_shrink(kmem_cache_t *cachep){if…

编程日记2024/04/06 12:30:00

Vlookup的兄弟lookup讲解

Vlookup是查找函数，lookup也是，但它主要是充当模糊查找。最常见的例子就是算个税等级和成绩区间。我们创建源数据如图结果要求的是300，500，50对应的积分情况。因为数据量大，这里只取小部分。运用lookup函数&#xff0c…

编程日记2024/04/06 12:00:00

6.python探测Web服务质量方法之pycurl模块

才开始学习的时候有点忽略了这个模块，觉得既然Python3提供了requests库，为什么多此一举学习这个模块。后来才发现pycurl在探测Web服务器的时候的强大。 pycurl是一个用c语言写的libcurl Python实现，支持的操作协议有FTP，HTTP&…

编程日记2024/04/06 11:30:00

Rocksdb DeleteRange实现原理

文章目录1. 基本介绍2. 两种接口使用及简单性能对比3. DeleteRange 的基本实现3.1 写流程的实现3.2 读流程的实现 -- skyline算法以下涉及到的代码都是基于rocksdb 6.4.0版本进行描述的 1. 基本介绍 DeleteRange接口的设计是为了代替传统的删除一个区间[start,end) 内的key-va…

编程日记2024/04/06 11:00:00

题目描述：The GeoSurvComp geologic survey company is responsible for detecting underground oil deposits. GeoSurvComp works with one large rectangular region of land at a time, and creates a grid that divides the land into numerous square plots. I…

编程日记2024/04/06 10:30:00

linux做预警机制,预警通告：Linux内核中TCP SACK机制远程DoS

漏洞描述2019年6月18日，RedHat官网发布报告：安全研究人员在Linux内核处理TCPSACK数据包模块中发现了三个漏洞，CVE编号为CVE-2019-11477、CVE-2019-11478和CVE-2019-11479，其中CVE-2019-11477漏洞能够降低系统运行效率，…

编程日记2024/04/06 10:00:00

C# 使用xsd文件验证XML 格式是否正确

//创建xmlDocument XmlDocument doc new XmlDocument(); //创建声明段如<?xml version"1.0" encoding"utf-8" ?> doc.AppendChild(doc.CreateXmlDeclaration("1.0", "utf-8", null)); //创建一个根节点 KYTResults Xm…

编程日记2024/04/06 09:30:00

[蓝桥杯]PREV-23.历届试题_数字游戏

问题描述栋栋正在和同学们玩一个数字游戏。游戏的规则是这样的：栋栋和同学们一共n个人围坐在一圈。栋栋首先说出数字1。接下来，坐在栋栋左手边的同学要说下一个数字2。再下面的一个同学要从上一个同学说的数字往下数两个数说出来，也就是说4。…

编程日记2024/04/06 09:00:00

Mac 上使用 Clion 阅读C++源码的一些操作

一直在尝试一些写代码方便，阅读代码也很方便的工具，因为使用的是Mac，所以阅读源码上面sourceInsight就没办法用了。从vscode – sublime – clion 想要可配置性强一点，软件轻一点，也能提供足够的便捷操作&#xff0c…

编程日记2024/04/06 08:30:00

c语言字母八进制表示'/1011',C语言C语言第一课：C语言概述为什么学习C语言怎样学习C语言.DOC...

[摘要]C语言第一课： C语言概述为什么学习C语言怎样学习C语言参考资料 ----------------------------------------------------------- 入门经典《C语言程序设计》谭浩强清华《汇编语言》王爽《The C programming language》机械工业《C Primer Plus》 60…

编程日记2024/04/06 08:00:00

Discuz! X2.5 添加自定义数据调用模块（简单方法）

转：http://521-wf.com/archives/46.html Discuz! X2.5 添加自定义数据调用模块（简单方法） Discuz!X系列的diy功能还是相当不错的，在对其进行二次开发的过程中，或许需要加入新的数据调用模块，这样可以使你开…

编程日记2024/04/06 07:30:00

Cassandra数据模型设计最佳实践

2019独角兽企业重金招聘Python工程师标准>>> 本文是Cassandra数据模型设计第一篇（全两篇），该系列文章包含了eBay使用Cassandra数据模型设计的一些实践。其中一些最佳实践我们是通过社区学到的，有些对我们来说也是新知识…

编程日记2024/04/06 07:00:00

矩阵相关概念的物理意义

参考链接： 矩阵乘法的本质是什么？ 条件数病态矩阵与条件数（&& 与特征值和SVD的关系）矩阵的物理意义：https://blog.csdn.net/NightkidLi_911/article/details/38178533https://blog.csdn.net/NightkidLi_911/a…

编程日记2024/04/06 06:30:00

Linux 下进程运行时内部函数耗时的统计工具：pstack,strace,perf trace,systemtap

简单记录一些在linux下统计进程内部函数运行耗时的统计工具，主要是用作性能瓶颈分析。当然以下工具除了pstack功能单一之外，其他的工具都非常强大，这里仅仅整理特定场景的特定用法，用作协同分析。以下工具需要追踪具体的进程&…

编程日记2024/04/06 06:00:00

c语言作业扩展名通常为什么,C语言的源程序通常的扩展名是（）

C语言的源程序通常的扩展名是( )更多相关问题【C20】A．asB．afterC．untilD．whenAlthough I spoke to her about the matter several times, she took little ______ of what I s“以质取胜”战略包括三个方面内容，分别是…

编程日记2024/04/06 05:30:00

VS中C#读取app.config数据库配置字符串的三种方法(转)

关于VS2008或VS2005中数据库配置字符串的三种取法 VS2008建立Form程序时,如果添加数据源会在配置文件 app.config中自动写入连接字符串,这个字符串将会在你利用DataSet,SqlDataAparter,SqlConnection等控件时如影随行地提示你让去选择,或者是新建字符串。如果要用代码的方式取得…

编程日记2024/04/06 05:00:00

获取线程中抛出的异常信息

1 ScheduledExecutorService service Executors.newScheduledThreadPool(10);2 // 从现在开始delay毫秒之后，每隔一天执行一次，转换为毫秒3 // service.scheduleAtFixedRate(this, delay, period, TimeUnit.MILLISECONDS);4 …

编程日记2024/04/06 04:30:00

浅谈批处理获取管理员运行权限的几种方法

很多用了Win10版本系统的人都会发现，Windows对程序的运行权限是控制得更加严格了，即使你将UAC控制放至最低，如果没有特别赋予外来程序管理员运行权限的话，很多程序都会运行出错，包括很多用于系统维护的批处理程序由于运…

编程日记2024/04/06 04:00:00

使用 sched_setaffinity 将线程绑到CPU核上运行

linux 提供CPU调度函数，可以将CPU某一个核和指定的线程绑定到一块运行。这样能够充分利用CPU，且减少了不同CPU核之间的切换，尤其是在IO密集型压力之下能够提供较为友好的性能。通过sched_setaffinity 设置 CPU 亲和力的掩码，从…

编程日记2024/04/06 03:30:00

Objective C内存管理之理解autorelease------面试题

Objective C内存管理之理解autorelease Autorelease实际上只是把对release的调用延迟了，对于每一个Autorelease，系统只是把该Object放入了当前的Autorelease pool中，当该pool被释放时，该pool中的所有Object会被调用Release。 &…

编程日记2024/04/06 03:00:00

c语言子程序return,c语言return返回到哪

c语言return返回到哪c语言return，返回给了上一级，比如一个递归程序，从第三层返回到第二层；又比如一个普通的子程序，那就返回到主程序中去。主程序中return返回给了操作系统。比如下面一个c程序int sum(int a, int b) {…

编程日记2024/04/06 02:30:00

有关 schema

2019独角兽企业重金招聘Python工程师标准>>> 主要分析2点 ：schema含义以及多schema下的XA处理 A schema is a collection of database objects (used by a user.). Schema objects are the logical structures that directly refer to the database’…

编程日记2024/04/06 02:00:00

关于查询ios的app更新的历史版本记录

https://www.qimai.cn 推荐七麦数据可以查询app的各种版本更新内容由于历史久远忘记了自己app第一次上架的时间通过这个可以查询转载于:https://www.cnblogs.com/ccw-congcong/p/10593917.html

编程日记2024/04/06 01:30:00

关于 Rocksdb 性能分析需要知道的一些“小技巧“ -- perf_context的“内功” ，systemtap、perf、 ftrace的颜值

文章目录内部工具包含头文件接口使用核心指标Perf ContextIOStats Context外部工具Systemtap 工具Perf工具Ftrace 工具2020.8.20 23:23 ，又到了夜深人静学习时，不断得思考总结总会让繁忙一天的大脑得到舒缓。作为单机存储引擎，Rocksdb总会被嵌…

编程日记2024/04/06 01:00:00

一维数组求平均值c语言编程软件,c语言编程：用数组名作函数参数，编写一个对一维数组求平均值的函数，并在主函数中调用它...

#includeincludeint main(){void sort1(char*p1);void print(char*p2);static char*name[]{"zhangwww.book1234.com防采集请勿采集本网。#include #include #include float b(float arr[],int n); //<<<不知道你说的第2，4，5语句对应的是什…

编程日记2024/04/06 00:30:00

2014年10月18日

我姐一个一点追求都没有弄的我气死了.女人管不住自己的臭嘴就让人烦死/ 还能不能嫁出去蠢女人说一个男的没追求没出息就是找枪口撞蠢死转载于:https://www.cnblogs.com/wangduqiang/p/4180892.html

编程日记2024/04/06 00:00:00

接口响应慢？那是你没用 CompletableFuture 来优化！

大多数程序员在平时工作中，都是增删改查。这里我跟大家讲解如何利用CompletableFuture优化项目代码，使项目性能更佳！

编程日记2024/04/05 23:30:02

SQL Server 2012入门T-SQL基础篇:(8)Delete语句

基本的语法格式如下:Deleteform表名[where条件语句]此语句将删除表的部分或者全部记录;(1)带WHERE条件子句,将删除符合条件的记录:可以看到已经删除了"EmployeeKey1"的记录;(2)不带条件的delete的语句,将表中删除所有记录;转载于:https://blog.51cto.com/281816327/1…

编程日记2024/04/05 23:30:00

30张图带你彻底理解红黑树

当在10亿数据进行不到30次比较就能查找到目标时，不禁感叹编程之魅力！人类之伟大呀！—— 学红黑树有感。终于，在学习了几天的红黑树相关的知识后，我想把我所学所想和所感分享给大家。红黑树是一种比较难的数据结构，要完全搞懂非常耗时耗力，红黑树怎么自平衡？什么时候需要左旋或右旋？插入和删除破坏了树的平衡后怎么处理？等等一连串的问题在学习前困扰着我。如果你在学习过程中也会存在我的疑问，那么本文对你会有帮助，本文帮助你全面、彻底地理解红黑树！

编程日记2024/04/05 23:00:02