当前位置：首页 > 编程日记 > 正文

linux文件IO与内存映射：分散/聚集IO技术(scatter-gather)

编程日记 2024-04-25 07:00:00

前言

根据上文我们学习到的用户空间的IO缓冲区，操作系统为了减少系统调用的次数，节省系统开销，提出了用户空间的IO缓冲区，即为用户空间的文件读写开辟一段可以利用setvbuf配置大小的内存空间来作为文件IO缓冲区。

描述

为了在以上IO缓冲区的基础上更进一步得减少系统调用的次数，提出了分散/聚合IO技术，总体上是使用了单个向量的IO操作代替了多个向量的IO操作。
读文多个件的时候将从page cache中读到的内容先读入到一个IO缓冲区数据结构中，再由一个缓冲区分别分散返回到多个文件缓冲区中；写文件的过程与读文件的过程刚好相反，即将多个文件缓冲区的内容聚合写到一个缓冲区中，写入page cache中，从而更高得提升系统调用效率。

在这里插入图片描述

实现

实现scatter-gather技术的系统调用原型如下：

头文件<sys/uio.h>
函数使用:
ssize_t readv(int fd, const struct iovec *iov, int iovcnt);
ssize_t writev(int fd, const struct iovec *iov, int iovcnt);
函数参数
fd ：打开的文件描述符
iov: IO向量数据结构内容如下，每个结构体成员代表一个buffer:
```
 struct iovec {void  *iov_base;    /* Starting address */size_t iov_len;     /* Number of bytes to transfer */};
```
iovcnt：IO向量的个数
这两个系统调用的底层仍然是使用read/write系统调用，只是对IO 缓冲区做了聚合，支持多个IO缓冲区内容聚合到同一个IO向量中

代码如下：
writev.c

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <string.h>
#include <sys/uio.h>
#include <fcntl.h>int main(int argc, char *argv[])
{ssize_t count = 0;int fd, i = 0;char *buf[]={"buffer1\n","buffer2\n","buffer3\n"};fd = open(argv[1], O_WRONLY|O_CREAT, 0666);if (-1 == fd) {printf("open failed \n");_exit(-1);}//将三个IO缓冲区的文件聚合为一个IO向量struct iovec iov[3];for (i ; i < 3; ++i) {iov[i].iov_base = buf[i];iov[i].iov_len = sizeof(buf[i]) + 1;printf("iovec[%d] size is %ld \n",i,iov[i].iov_len);}//写入一个文件count = writev(fd, iov, 3);if (-1 == count) {printf("writev failed\n");_exit(-1);}close(fd);return 0;
}

readv.c

#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <unistd.h>
#include <sys/uio.h>
#include <fcntl.h>int main(int argc, char *argv[])
{ssize_t count = 0;int fd, i = 0;char buf1[9],buf2[9],buf3[9];//生成一个文件，可以传入聚合IO缓冲区的文件fd = open(argv[1], O_RDONLY,0666);if (-1 == fd) {printf("open failed \n");_exit(-1);}//对IO向量中的各个IO缓冲区进行地址和内容大小赋值struct iovec iov[3];iov[0].iov_base = buf1;iov[0].iov_len = sizeof(buf1);	iov[1].iov_base = buf2;iov[1].iov_len = sizeof(buf2);	iov[2].iov_base = buf3;iov[2].iov_len = sizeof(buf3);	//从page cache读入的一个向量会分散到三个缓冲区中count = readv(fd,iov,3);if (-1 == count) {printf("writev failed\n");_exit(-1);}for (i ; i < 3; ++i) {printf(" %s",(char *)(iov[i].iov_base));}prinft("buf1 %s\n",buf1);prinft("buf2 %s\n",buf2);prinft("buf3 %s\n",buf3);close(fd);return 0;
}

编译输出如下:
gcc writev.c -o writev
gcc readv.c -o readv

zhang@ubuntu:~/Desktop/cpp_practice$ ./writev  writevfile
iovec[0] size is 9 
iovec[1] size is 9 
iovec[2] size is 9 
zhang@ubuntu:~/Desktop/cpp_practice$ ./readv writevfile buffer1buffer2buffer3
buf1 buffer1buf2 buffer2buf3 buffer3

https://www.dkcj.cn/info/5192.html

android jni 调用 java_Android与JNI(二) ---- Java调用C++ 动态调用

目录：1. 简介2. JNI 组件的入口函数3. 使用 registerNativeMethods 方法4. 测试5. JNI 帮助方法6. 参考资料1. 简介Android与JNI(一)已经简单介绍了如何在 android 环境下使用 JNI 了。但是遵循 JNI 开发的基本步骤似乎有点死板，而且得到的本地函数名太…

编程日记2024/04/25 06:30:00

如何查找并干掉僵尸进程

查找命令：ps -A -o stat,pid,ppid,cmd | grep -e ^[Zz] 找到之后 kill掉，然后用top命令查看是否kill成功，如果失败，kill 父进程。转载于:https://www.cnblogs.com/kfx2007/p/3572249.html

编程日记2024/04/25 06:00:00

[转] WINCC教学视频

原文地址http://www.ad.siemens.com.cn/club/bbs/post.aspx?b_id5&a_id1049763&s_id17&num0#anch WinCC 变量归档系列视频： http://www.ad.siemens.com.cn/service/elearning/cn/SerialVideo.aspx?vsid136 WinCC亚洲版高级工程师培训视频：…

编程日记2024/04/25 05:30:00

UNL（Ubiquitous Navigation Lab）

转载于:https://www.cnblogs.com/Forwithy/p/10080078.html

编程日记2024/04/25 05:00:00

linux 文件IO与内存映射：内存映射

前言前面几篇我们学习了用户空间的IO缓冲区,以及IO缓冲区的分散聚合IO技术. 为了减少系统调用的次数，提升系统性能，操作系统开发者门提出了这么多的缓存技术。但是到这里这些技术同样有不足的地方：不论是读或者写文件，都需要将…

编程日记2024/04/25 04:30:00

Java网页数据采集器[下篇-数据查询]【转载】

本期概述上一期我们学习了如何将html采集到的数据存储到MySql数据库中,这期我们来学习下如何在存储的数据中查询我们实际想看到的数据. 数据采集页面 2011-2012赛季英超球队战绩如果是初学者以下可能对你有帮助 Java如何操作MySql?在使用java 操作MySql数据库之前我们需要…

编程日记2024/04/25 04:00:00

loadrunner 调用java_LoadRunner调用Java程序—性能测试

为了充分利用LoadRunner的场景控制和分析器，帮助我们更好地控制脚本加载过程，从而展现更直观有效的场景分析图表。本次将重点讨论LoadRunner如何调用Java测试代码，完成压力测试。通常我们在执行一些Server的压力测试的时候，总会不…

编程日记2024/04/25 03:30:00

《The Art of Readable Code》读书笔记 01

放假前在学校图书馆借了一本新书《The Art of Readable Code》，寒假回来看看，写写其中的Key Idea 、summary和一些读书笔记。 Preface 前言部分主要概况讲了本书的核心思想——Code shoule be easy to understand。接着探讨什么是好代码，是内…

编程日记2024/04/25 03:00:00

吴裕雄 10-MySQL插入数据

语法以下为向MySQL数据表插入数据通用的 INSERT INTO SQL语法：INSERT INTO table_name ( field1, field2,...fieldN ) VALUES ( value1, value2,...valueN );如果数据是字符型，必须使用单引号或者双引号，如："value"。通…

编程日记2024/04/25 02:30:00

编译内核指定模块，筛选当前模块依赖的组件

关于内核模块编译的过程中，往往我们仅仅需要其中一个小的模块，但是却因为内核源码的庞杂而止步与模块依赖的筛选过程中。为了更加便捷得对内核各个模块进行管理，这里提供一个小脚本来进行指定模块相关得模块留存，不相关的模块代码…

编程日记2024/04/25 02:00:00

计算机启动和操作系统加载小话

整个启动和加载过程可分为若干步骤，或者称为若干个状态，或者快照，下面的每一段都是描述一个快照。（类似自动状态机） 1、电源稳定（POWER GOOD） 按下启动键后，电源首先启动。为了保证安…

编程日记2024/04/25 01:30:00

java清空栈_java - 如何使用Intent.FLAG_ACTIVITY_CLEAR_TOP清除活动堆栈？

java - 如何使用Intent.FLAG_ACTIVITY_CLEAR_TOP清除活动堆栈？我已经阅读了几篇关于使用它的帖子，但必须遗漏一些因为它不适合我。我的活动A在清单中有launchmode “singleTop”。它启动活动B，启动模式“singleInstance”。活动B打开浏览器…

编程日记2024/04/25 01:00:00

「学习笔记-Linux」学习Shell Script

学习Shell Script Table of Contents 1 什么是Shell Scipt 1.1 程序书写1.2 程序执行2 简单Shell练习 2.1 例1 接收用户输入2.2 例2 按日期建立相似名字的文件3 判断式 3.1 测试文件是否存在3.2 test常用选项 3.2.1 文件类型3.2.2 权限3.2.3 文件新旧比较3.2.4 整数&#xff0c…

编程日记2024/04/25 00:30:00

django admin组件

admin实例 from django.contrib import admin from app01 import models from django.utils.safestring import mark_safe # Register your models here. class UserInfoConfig(admin.ModelAdmin):# 自定义显示的东西def xxx(self):return mark_safe(<a href>xx</a>…

编程日记2024/04/25 00:00:00

C语言网络编程：close或者shutdown断开通信连接

文章目录前言close函数介绍shutdown函数介绍前言这里在主要通过实例进行描述close函数在网络编程中的使用 TCP编程模型中客户端或者服务器只要主动通过close发起断开连接的请求，则通信连接可以中断。可以通过在主进程中抓取通信端的断开信号，比如SIGI…

编程日记2024/04/24 23:30:00

Await, and UI, and deadlocks! Oh my!

It’s been awesome seeing the level of interest developers have had for the Async CTP and how much usage it’s getting. Of course, with any new technology there are bound to be some hiccups. One issue I’ve seen arise now multiple times is developers acc…

编程日记2024/04/24 23:00:00

linux文件IO与内存映射：分散/聚集IO技术(scatter-gather)

前言

描述

实现

相关文章：

android jni 调用 java_Android与JNI(二) ---- Java调用C++ 动态调用

如何查找并干掉僵尸进程

[转] WINCC教学视频

UNL（Ubiquitous Navigation Lab）

linux 文件IO与内存映射：内存映射

Java网页数据采集器[下篇-数据查询]【转载】

loadrunner 调用java_LoadRunner调用Java程序—性能测试

《The Art of Readable Code》读书笔记 01

吴裕雄 10-MySQL插入数据

编译内核指定模块，筛选当前模块依赖的组件

计算机启动和操作系统加载小话

java清空栈_java - 如何使用Intent.FLAG_ACTIVITY_CLEAR_TOP清除活动堆栈？

「学习笔记-Linux」学习Shell Script

django admin组件

C语言网络编程：close或者shutdown断开通信连接

Await, and UI, and deadlocks! Oh my!

传智播客java基础的习题_传智播客java基础班(集合与IO)阶段测试题

$@ 与 $* 差在哪？

[源码和文档分享]基于Netty和WebSocket的Web聊天室

t-tcpdump

java jdk 8u111_8u111-jdk-alpine在java开发中的NullPointerException错误解决方案

sprintf函数做什么用？

Yii学习笔记【3】

验证码相似问题

C语言网络编程：accept函数详解

java 声明静态类_java静态类声明--java类可以声明为static吗

单元测试资料汇总

rhel5+nis+autofs+nfs

Beta冲刺（1/7）

C语言网络编程：listen函数详解