当前位置：首页 > 编程日记 > 正文

一个简单的程序来使用WiredTiger 存储引擎

编程日记 2024-03-29 05:30:00

前言

WiredTiger 自 mongodb3.0 集成进来之后为mongodb拉回了大量的口碑，从而在mongodb-3.2 版本直接代替了in-memory存储引擎，作为了mongodb的默认存储引擎。其通过支持Append-only btree + lsm-tree 以及针对磁盘/内存数据结构上的多核和无锁优化，从而拥有了极高的性能，同时支持mongodb基本的事务/备份/time-based 等需求，成为mongodb 的核心动力。

研究wiredtiger 能够对基本的B-tree/LSM-tree 数据结构的工业实现有极为深刻的理解，而且我们实际测试wired-tiger 能够提供超过 rocksdb 2-3 倍的读性能，这里的测试是有cache和没有cache场景测的，都有同样的性能提升（b-tree的查找本身就是比较高效）和不弱于rocksdb 的写性能（append-only btree 也是顺序写，所以仍然需要类似LSM-tree的compact操作）。

当然，在不了解内部核心链路的基本流程之前直接看源代码基本难度很大（百万级的行数），比rocksdb大一个量级。不过还是贴上源码地址吧：https://github.com/wiredtiger/wiredtiger

基本接口

关于 wiredtiger 的编译和安装：

on-linux 可以参考wiredtiger 编译安装
on-mac 可以直接 brew install wiredtiger

了解整个引擎之前还是先将整个引擎跑一跑，看看运行之后的db数据状态；跑跑bench-mark，看看性能什么的，后续梳理出一个roadmap 再进行源码层级的深入。

如下测试代码，涵盖了wiredtiger的基础db操作的接口：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <wiredtiger.h>
static const char *home;void
CheckOp(const int ret, const char* funcname, const char* home) {if (ret != 0) {fprintf(stderr, "%s -- Error connecting to %s: %s\n",funcname, home, wiredtiger_strerror(ret));}
}int
main(void)
{WT_CONNECTION *conn;WT_SESSION *session;WT_CURSOR *cursor;int ret;/* 打开一个wiredtiger要操作的db目录*/if (getenv("WIREDTIGER_HOME") == NULL) {home = "WT_HOME";ret = system("rm -rf WT_HOME && mkdir WT_HOME");} else {home = NULL;}/* 打开或者创建数据库 */CheckOp(wiredtiger_open(home, NULL, "create", &conn), "wiredtiger_open", home);/* 打开1个数据库连接 */CheckOp(conn->open_session(conn, NULL, NULL, &session), "open_session", home);/* 创建一张名字为access的表，后续的db文件会以表的名字来命名 */CheckOp(session->create(session, "table:access", "key_format=S,value_format=S"), "create", home);/* 创建一个cursor，所有的请求都通过cursor来访问 */CheckOp(session->open_cursor(session, "table:access", NULL, NULL, &cursor), "open_cursor", home);/* 向一个cursor 插入一个KV */cursor->set_key(cursor, "key1");cursor->set_value(cursor, "value1");char* key = NULL;/* 获取key , 当然，获取value也是同样的方式，通过get_value即可*/CheckOp(ret = cursor->get_key(cursor, &key),"get_key", home);printf("wt key is : %s", key);CheckOp(ret = conn->close(conn, NULL),"close", home);return (ret);
}

我是在mac上编译的: gcc test_wt.c -o test_wt -lwiredtiger，如果是linux，直接链接编译好的libwiredtiger.so就可以了。
运行之后会生成一个WT_HOME的db目录：

╰─$ tree WT_HOME
WT_HOME
├── WiredTiger
├── WiredTiger.basecfg
├── WiredTiger.lock
├── WiredTiger.turtle
├── WiredTiger.wt
├── WiredTigerLAS.wt
└── access.wt

这里面的文件信息如下：

wiredTiger 是wiredTiger的版本信息或者编译时间
WiredTiger.basecfg wiredTiger的配置信息
WiredTiger.lock lock文件，防止多个进程链接同一个数据库（rocksdb的LOCK文件），单进场独享的
WiredTiger.turtle存储WiredTiger.wt文件的元数据信息
access.wt 是实际的表数据，我们在代码中创建了一个access命名的表
WiredTiger.wt 特殊的table，用于存储其他表数据的元数据信息
WiredTigerLAS.wt 这个是与wiredtiger的cache evict 相关的数据文件，主要是当内存使用率高时用于临时存放不能被逐出到用户表文件中的数据，表WiredTigerLAS中的数据会被高优先级逐出到磁盘文件WiredTigerLAS.wt中。

还有更多的官方提供的关于 session/cursor/事务等接口的使用demo 可以参考: example

https://www.dkcj.cn/info/3865.html

Java项目:网上商城系统(java+SSM+jsp+mysql+maven)

源码获取：博客首页 "资源" 里下载！ 一、项目简述功能 javaweb 网上商城系统，前台＋后台管理，用户注册，登录，上哦展示，分组展示，搜索，收货地址管理&…

编程日记2024/03/29 05:00:01

Linux 启动详解之init

1.init初探 init是Linux系统操作中不可缺少的程序之一。init进程，它是一个由内核启动的用户级进程，然后由它来启动后面的任务，包括多用户环境，网络等。内核会在过去曾使用过init的几个地方查找它，它的正确位置&#x…

编程日记2024/03/29 04:30:00

mysql 相关命令

mysqladmin versionmysqladmin statusmysqlshow -u帐号 -p密码 mysqlshow -u帐号 -p密码库名mysql -u帐号 -p密码 -e SELECT Host,Db,User From db mysqlmysqldump --quick mysql | gzip > /root/mysql.gzmysqladmin create dbtestgunzip < /root/mysql.gz | mysql…

编程日记2024/03/29 04:00:00

maven 添加数据库驱动

1.电脑上需要安装 apache maven2.下载oracle的jar包例如我下载的是ojdbc7-12.jar3.cmd执行命令 mvn install:install-file -DgroupIdcom.oracle -DartifactIdojdbc7 -Dversion12 -Dpackagingjar -Dfiled:\jar\ojdbc7-12.jar-Dfile jar包所存放的位置4.pom文件添加&#xff1…

编程日记2024/03/29 03:30:00

Rocksdb 的 BlobDB key-value 分离存储插件

前言还是回到传统的 LSM-tree 中，我们key-value 写入时以append形态存放到一个data-block中，多个data-blockmetablock 之类的数据组织成一个sst。当我们读数据以及compaction的时候读到key 之后则很方便得读取到对应的value，一次I/O能够将k…

编程日记2024/03/29 03:00:00

Java项目:(前端vue后台java微服务)在线考试系统(java+vue+springboot+mysql+maven)

源码获取：博客首页 "资源" 里下载！ 考试流程： 用户前台注册成为学生管理员后台添加老师，系统将该用户角色上升为老师老师登录，添加考试,添加题目，发布考试考生登录前台参加考试&#xff0c…

编程日记2024/03/29 02:30:00

C++实现stack【栈】

要求： //****file: stack.h/*对stack进行初始化检查stack为空，或已满将整数压入到stack中从stack里弹出整数不移除任何袁术，讲过stack的内容输出到标准输出Stack类的私有成员如下：一个用于打印错误信息的私有哦成员函数三个私有数…

编程日记2024/03/29 02:00:00

c#操作Excel整理总结

大家好，这是我在工作中总结的关于C#操作Excel的帮助类，欢迎大家批评指正！ using System; using System.Collections.Generic; using System.Data; using System.Data.OleDb; using System.IO; using Aspose.Cells;namespace MusicgrabTool {p…

编程日记2024/03/29 01:30:00

C++ std::function＜void(int)＞和 std::function＜void()＞作为函数参数的注意事项

前言 std::function 作为标准库提供的函数指针，使用起来还是比较方便的，不过在使用过程中有一些需要注意的细节，这里做一个简单的记录。基本使用头文件: #include <functional>语法：std::function<return_type(args…

编程日记2024/03/29 01:00:00

Java项目:网上电商系统(java+SSM+mysql+maven+tomcat)

源码获取：博客首页 "资源" 里下载！ 一、项目简述功能：本系统分用户前台和管理员后台。前台展示后台管理，前台界面可实现用户登录，用户注册，商品展示，商品明细展示，用户…

编程日记2024/03/29 00:30:00

C# SQLiteHelper

1 public class SQLiteHelpers2 {3 /// <summary> 4 /// ConnectionString样例：DatasourceTest.db3;Poolingtrue;FailIfMissingfalse 5 /// </summary> 6 public static string ConnectionStri…

编程日记2024/03/29 00:00:00

[Git] 拉开发分支的代码报错

Git拉开发分支的代码报错： fatal: The remote end hung up unexpectedly fatal: early EOF fatal: index-pack failed 解决办法： git config --global core.compression -1 转载于:https://www.cnblogs.com/MasterMonkInTemple/p/10754596.html

编程日记2024/03/28 23:30:00

C++ 通过模版工厂实现简单反射机制

前言我们知道Java/Python这种语言能够很好得支持反射。反射机制就是一种用户输入的字符串到对应实现方法的映射，比如http接口中用户传入了url，我们需要调用该url对应的方法/函数对象从而做出对应的操作。而C 并没有友好得支持这样的操作&#xf…

编程日记2024/03/28 23:00:01

计算机世界的“十六进制”为什么如此重要

在计算机世界中，十六进制扮演着不可或缺的角色。它以其紧凑的表示形式、与二进制的天然对应关系以及在各个领域的广泛应用，成为了计算机科学中的一把重要工具。总体而言，计算机需要十六进制并非偶然，它是一种为了更好地满足人类理解和处理数据的需求而产生的工具，为计算机科学的发展和应用提供了便利和支持。

编程日记2024/03/28 22:30:03

面试官：如何实现10亿数据判重？

以 Java 中的 int 为例，来对比观察 BitMap 的优势，在 Java 中，int 类型通常需要 32 位（4 字节*8），而 BitMap 使用 1 位就可以来标识此元素是否存在，所以可以认为 BitMap 占用的空间大小，只有 int 类型的 1/32，所以有大数据量判重时，使用 BitMap 也可以实现。所以数据库去重显然是不行的。而使用集合也是不合适的，因为数据量太大，使用集合会导致内存不够用或内存溢出和 Full GC 频繁等问题，所以此时我们的解决方案通常是采用布隆过滤器来实现判重。

编程日记2024/03/28 22:30:03

Java项目:校园二手市场系统(java+SSM+mysql+maven+tomcat)

源码获取：博客首页 "资源" 里下载！ 一、项目简述（ IW文档） 功能：本系统分用户前台和管理员后台。本系统用例模型有三种，分别是游客、注册用户和系统管理员。下面分别对这三个角色的功能进行描…

编程日记2024/03/28 22:30:00

php中$_REQUEST、$_POST、$_GET的区别和联系小结

php中$_REQUEST、$_POST、$_GET的区别和联系小结作者： 字体：[增加减小] 类型：转载php中有$_request与$_post、$_get用于接受表单数据，当时他们有何种区别，什么时候用那种最好。1. $_REQUEST php中$_REQUEST可以获取以…

编程日记2024/03/28 22:00:00

uva 315 (poj 1144 求割点)

题意：给你一张无向图，求割点的个数。思路：输入稍微处理一下接着直接套模版。 1 #include <iostream>2 #include <cstdio>3 #include <cstring>4 #include <cstdlib>5 #include <cmath>6 #include <algorit…

编程日记2024/03/28 21:30:00

SQL学习之计算字段的用法与解析

一、计算字段 1、存储在数据库表中的数据一般不是应用程序所需要的格式。大多数情况下,数据表中的数据都需要进行二次处理。下面举几个例子。 (1)、我们需要一个字段同时显示公司名和公司地址，但这两个信息存储在不同表的列中。 (2)、省份、城市、邮政编码存储在不同…

编程日记2024/03/28 21:00:00

手把手教你用C++实现一个可持久化的http_server

前言本文介绍一个有趣的通过C实现的持久化的http_server demo，这样我们通过http通信之后的数据可以持久化存储，即使server挂了，数据也不会丢失。我们的http_sever 也就能够真正得作为一个后端server了。本身持久化这个能力是数据库提供…

编程日记2024/03/28 20:30:00

【SVN多用户开发】代码冲突解决办法

SVN是一款集中式的代码存储工具，可以帮助多个用户协同开发同一应用程序。但是SVN不能完全代替人工操作，有时也需要程序员自己进行沟通确认有效的代码。下面就简单的看一下，常见的代码冲突以及解决方法。总结起来，无非是&#x…

编程日记2024/03/28 20:00:00

Java项目:在线宠物商店系统(java+SSM+mysql+maven+tomcat)

源码获取：博客首页 "资源" 里下载！ 一、项目简述功能：本系统分用户前台和管理员后台。系统包括用户的注册登录，狗狗的展示购物车添加以及下单支付购买，后台有管理员用户，可以操作狗狗的品种&…

编程日记2024/03/28 19:30:00

字符串中的数字排序

2019独角兽企业重金招聘Python工程师标准>>> public static String getBusiScope(String busiScope){ String regex "\\d{1,2}"; String busiStr""; Pattern pattern Pattern.compile(regex); Matcher matcher pattern.matcher(busiScope…

编程日记2024/03/28 19:00:00

oo第二单元总结

第二单元总结第一次作业一、设计策略本次作业采用FAFS算法，可直接用输入线程与电梯线程交互，调度器暂时不需要参与，故一共设计三个类三线程：Main类、elevator类及input类，main线程、elevator线程及input线程。main线…

编程日记2024/03/28 18:30:00

Rocksdb iterator 的 Forward-scan 和 Reverse-scan 的性能差异

前言最近在读 MyRocks 存储引擎2020年的论文，因为这个存储引擎是在Rocksdb之上进行封装的，并且作为Facebook 内部MySQL的底层引擎，用来解决Innodb的空间利用率低下和压缩效率低下的问题。而且MyRocks 在接入他们UDB 之后成功达成了他们的…

编程日记2024/03/28 18:00:00

Java知多少（29）覆盖和重载

在类继承中，子类可以修改从父类继承来的方法，也就是说子类能创建一个与父类方法有不同功能的方法，但具有相同的名称、返回值类型、参数列表。如果在新类中定义一个方法，其名称、返回值类型和参数列表正好与父类中的相同&#xff0…

编程日记2024/03/28 17:30:00

Java项目:清新论坛系统(java+SSM+mysql+maven+tomcat)

源码获取：博客首页 "资源" 里下载！ 一、项目简述功能：本系统分用户前台和管理员后台。用户前台主要功能有： 用户注册用户登录浏览帖子回复帖子修改个人资料管理员后台的功能有： 管理论坛版块用户管…

编程日记2024/03/28 17:00:00

JUnit4.11 理论机制 @Theory 完整解读

最近在研究JUnit4，大部分基础技术都是通过百度和JUnit的官方wiki学习的，目前最新的发布版本是4.11，结合代码实践，发现官方wiki的内容或多或少没有更新，Theory理论机制章节情况尤为严重，不知道这章wiki对应的…

编程日记2024/03/28 16:30:00

树链剖分——线段树区间合并bzoj染色

线段树区间合并就挺麻烦了，再套个树链就更加鬼畜，不过除了代码量大就没什么其他的了。。一些细节：线段树每个结点用结构体保存，pushup等合并函数改成返回一个结构体，这样好写一些 struct Seg{int lc,rc,tot;Seg(){lcr…

编程日记2024/03/28 16:00:00

MyRocks: 为facebool 的社交图谱服务的LSM-tree存储引擎

文章目录概览1. UDB 架构2. UDB 表格式3. Rocksdb：针对flash存储优化过的第三方库3.1 Rocksdb架构3.2 为什么选择Rocksdb4. MyRocks / Rocksdb 开发历程4.1 设计目标4.2 性能挑战4.2.1 降低CPU的消耗4.2.2 降低range-scan 的延时消耗4.2.3 磁盘空间和Compaction 的一…

编程日记2024/03/28 15:30:00

前言

基本接口

相关文章：