Linux地址映射--线性映射与非线性映射
一，线性映射与非线性映射
1. 内存管理
物理内存管理：
Linux内存最小管理单位为页（page），通常一页为4K。初始化时，linux会为每个物理内存也建立一个page的管理结构，操作物理内存时实际上就是操作page页。某些设备会映射在物理内存地址外，这些地址会在使用时建立page结构。
进程内存管理：
Linux进程通过vma进行管理，每个进程都有一个task_struct结构体进行维护，其中的mm_struct结构体管理这进程的所有内存。Mm_struct中维护者一个vma链表，其中的每一个vma节点对应着一段连续的进程内存。这里的连续是指在进程空间中连续，物理空间中不一定连续。如果使用malloc等申请一段内存，则内核会给进程增加vma节点。
2. 为何内核与进程空间不重合
进程：0~3G
内核：3G~4G
进程与内核合起来使用了4G的地址空间，而不是各自使用4G空间，获得的好处是进程进入内核是不需要切换页表，降低了进出内核的消耗。
在2.6内核中，所有进程的内核空间（3G~4G）都是共享的。
Linux启动后，第一个进程是init进程，它的页表与内核页表是一致的，系统中的其他所有进程都是init进程的儿子或后代。Linux中进程创建通过fork()实现，子进程的PGD与PTE是父进程的拷贝此时会把内核进程的页表拷贝到每个进程中。在各个进程的运行过程中，他们的页表可能会发生变化，比如发生缺页异常。如果是进程页表发生改变，则只要改变进程的页表项（0G~3G）就够了，如果是内核页表发生变化，则必须通知到所有进程改变各自维护的一份内核页表（3G~4G）。最简单的方法是每次内核页表改变后，遍历所有进程去改变他们维护的内核页表，显然效率很低。Linux内核通过page fault机制实现内核页表的一致。内核页表改变时，只改变init进程的内核页表。当进程访问该页时，会发生一个缺页异常，异常处理中通过init进程更新当前进程的内核页表。
3. 非线性区域
非线性区与线性区是内核地址空间中的概念。
对于非线性区存在，可以做如下的解释。
Linux物理内存空间分为DMA内存区（DMA Zone）、低端内存区（Normal Zone）与高端内存区（Highmem Zone）三部分。DMA Zone通常很小，只有几十M。低端内存区与高端内存区的划分源于linux内核空间大小的限制。
Linux内核只有1G的空间，通常内核把物理内存与其地址空间做了线性映射，也就是一一映，这样可以提高内存访问速度。
当内存超过1G时，线性访问机制就不够用了，只能有1G的内存可以被映射，剩余的内存无法被内核使用。当然无法忍受。
为了解决这一问题，linux把内核分为线性区与非线性区两部分。线性区规定最大为896M，剩下的为非线性区。与线性区不同，非线性区不会提前进行内存映射，而是在使用时动态映射。线性区映射的物理内存成为低端内存，剩下的内存被称为高端内存。
假设物理内存为2G，则地段的896M为低端内存，通过线性映射给内核使用。其他的1128M内存为高端内存，可以被内核的非线性区使用。由于要使用128M非线性区来管理超过1G的高端内存，所以通常都不会映射，只有使用时才使kmap映射，使用完后要尽快用kunmap释放。
使用128M管理1G的内存是不是有点小马拉大车的感觉？其实不会，因为高端内存的大部分要进程使用。
对于物理内存为1G的内核，系统不会真的分配896M给线性空间，896M最大限制。下面是一个1.5G物理内存linux系统的真实分配情况，只有721M分配给了低端内存区，如果是1G的linxu系统，分配的就更少了。
MemTotal 1547MB
HighTotal 825MB
LowTotal 721MB
申请高端内存时，如果高端内存不够了，linux也会去低端内存区申请，反之则不行。
4. linux管理之外的物理地址空间（other Addr）
理论上，32位系统可管理的物理地址空间为4G。x86架构多一些io空间。计算机系统中的每个设备都是要占用一定的物理地址空间的，如PCI设备，所以不会把4G都给内存，这也意味着32位系统无法支持4G内存。
对于这部分物理内存之外的物理地址空间，这段空间不知道应该怎么称呼，这里暂时称为Device Zone。
由于Device Zone没有被linux管理，也就不会为它建立page结构来管理，因此linux中使用该段内存时都是直接使用其物理地址，而使用物理内存则是通过向linux申请free page来实现。同样道理，这块肯定也不会映射到线性区，而是使用ioremap映射到非线性区域，或直接用mmap映射到进程空间
http://blog.chinaunix.net/uid-20528014-id-314322.html
相关文章：
第三方消息推送回调Java app消息推送第三方选择
由于最先集成的是极光，因此根据官方给的推送设备区分方式中，选择了使用标签tag来进行区分管理方式，其接口提供了设置和清理标签， 每次设置会覆盖上次的结果，当然这个需要和极光后台进行交互，是异步返回的。5、由于其接口没有使用免费和付费区分，对于接口的访问没有限制，从使用的情况来看，经常会出现不准的情况，并且设置标签的效果其实是添加，导致业务需要改变标签时，需要先清除在设置，然而接口又经常出问题，导致这部分也是一塌糊涂了；如果想使用不受免费版本限制特性的推送服务，可以联系平台提供的商务对接，购买付费版本。
[SDOI2015]权值
问题描述： 有一个长度为n的实数序列，,下标从1开始，其中第k个位置的实数为p (sin(a k b) cos(c k d) 2)，sin和cos采用弧度制，其中p，a，b，c，d均为给定的整数。你需要…
为什么前后端都需要进行数据校验？
前端和后端各自的数据完整性校验是相辅相成的。前端校验可以提供即时反馈和优化用户体验，减轻后端服务器压力；后端校验是最终的安全防线，确保数据的完整性和一致性。通过前后端的数据完整性校验机制的结合，可以提供更可靠和安全的应用程序。
多个网站共享一个mysql数据库_如何在多个Postgresql数据库之间共享表
是的,模式是解决方案.使用单个Postgresql集群,使用单个数据库.为所有应用用户创建一个组：CREATE ROLE app;创建全局“应用程序”模式,其中所有全局共享应用程序表都将生效.CREATE SCHEMA AUTHORIZATION app;CREATE TABLE app.objects ( objectid int PRIMARY KEY );…
solr安装-tomcat+solrCloud构建稳健solr集群
solrCloud的搭建可以有两种方式：使用solr内嵌的jetty来搭建；使用外部web容器tomcat来搭建。对于使用jett来搭建参考solr官方的手册照着做肯定ok，下面我主要讲的是如何使用tomcat来搭建solrCloud。废话不多说，开始我们的工作&#…
[pytorch][stepbystep]在pytorch上实现卷积神经网路(CNN)的裁剪(purning)
利用VGG-16对Dogs-vs-Cats数据集进行训练，裁剪VGG-16可以获得3x的运算加速和4x的模型减小 简介 puring神经网络是一个古老的idea,具体可以追溯到1990年（与Yann LeCun的最佳脑损伤[1]工作）。这个想法是，在网络中的许多参数中&#…
linux内存布局及页面映射
在Linux系统中，以32bit x86系统来说，进程的4GB内存空间（虚拟地址空间）被划分成为两个部分 ------用户空间和内核空间，大小分别为0-3G，3-4G。用户进程通常情况下，只能访问用户空间的虚拟地址&…
codeforces Kyoya and Colored Balls
题解见：http://blog.csdn.net/libin56842/article/details/46650209 注意这里的组合数取模~~~ 1 /*Author :usedrose */2 /*Created Time :2015/8/7 13:31:44*/3 /*File Name :2.cpp*/4 #pragma comment(linker, "/STACK:1024000000,1024000000") 5 #inc…
存储mysql数据存在特殊字符时处理_转义 存储数据时特殊符号的处理
function url_base64_encode($str){//将这个方法处理后的数据可以存储，不会有特殊符号if($str"")return "";$codebase64_encode($str);//$codedHQ;$codestr_replace(,"!",$code);//把所用""替换成"!"$codestr_re…
虚拟化中的SR-IOV
虚拟化环境中有很多的硬件加速技术，这些技术标准来源于行业内的领导者或各种组织机构，但是在实际项目落地时又有哪些会被启用呢？哪些启用的功能带来了性能上明显的提升呢？那么这些加速技术如果不痛不痒的话那么它们的存在究竟意义…
查看线程的运行状态
实例说明线程共有六个状态，即新建、运行（可运行）、阻塞、等待、计时等待和终止。当使用new操作符创建新线程时，线程处于“新建状态”。当调用start方法时，线程处于运行（可运行）状态。当线程需要…
Linux 的内存管理工具和调优参数
1. free 2. top 3. vmstat 4. slabtop; 5. pmap 6. dmesg 7. /proc/meminfo 8. /proc/sys/vm 目录下的文件 9. sync 10./proc/zoneinfo 11./proc/pagetypeinfo 查看内存工具：1.free free - Display amount of free and used memory in the system rootubuntu:/home/…
java多线程查询_利用Java函数式接口处理多线程查询
Java函数式接口有且只有一个抽象方法的接口被称为函数式接口.FunctionalInterface注解: 该注解可用于一个接口的定义上, 一旦使用该注解来定义接口, 编译器将会强制检查该接口是否确实有且仅有一个抽象方法, 否则将会报错.该注解不是必须的, 只要符合函数式接口的定义,那么这个…
奇妙的算法之LCS妙解
LCS算法妙解 LCS问题简述：最长公共子序列 一个数列 S，如果分别是两个或多个已知数列的子序列，且是所有符合此条件序列中最长的，则S 称为已知序列的最长公共子序列。 LCS问题的分支：最长公共子串与最长公共子序列 子串&…
关于PreferenceActivity的使用和一些问题的解决(自己定义Title和取值)
android的Setting往往用PreferenceActivity来写的 我们在建立layout文件: <PreferenceScreen xmlns:android"http://schemas.android.com/apk/res/android"> <PreferenceCategory android:title"常规设置" android:key"set_local">&…
python学习-25 函数递归
递归 例如： def abc(n):print(n)if int(n/2) 0:return nreturn abc(int(n/2))abc(10) 运行结果： 10 5 2 1Process finished with exit code 0 2.小程序实例 import time people_list [小明,小红,小刚,小王,小青]def ask(people_list):if len(people_li…
二维指针删除单向链表
Linus slashdot: https://meta.slashdot.org/story/12/10/11/0030249 原文： https://coolshell.cn/articles/8990.html Linus大婶在slashdot上回答一些编程爱好者的提问，其中一个人问他什么样的代码是他所喜好的，大婶表述了自己一些观点…
对比java_java集合对比
list与Set、Map区别及适用场景1、List,Set都是继承自Collection接口，Map则不是2、List特点：元素有放入顺序，元素可重复 ，Set特点：元素无放入顺序，元素不可重复，重复元素会覆盖掉，(注…
.ARM.exidx
简介： .ARM.exidx is the section containing information for unwinding the stack. If your C program has functions that print out a stack backtrace, the functions will likely depend on this section being present. 相关的编译选项 -funwind-tables 二问…
Oracle VM VirtualBox安裝Windows 2000失败
问题：VirtualBox下安装Windows2000，设置网络后进入最后一步，复制组件……然后就是重启；再试还是重启！解决：在Oracle网站上查了一下资料：http://www.virtualbox.org/manual/ch12.html#idp1278616…
用户/目录操作
用户操作 useradd/adduser 创建用户 passwd 修改用户密码 userdel 删除用户 usermod 修改用户信息 -g<群组> 修改用户所属群组 -G<群组> 修改用户所属的附加群组 -l<帐户名> 修改账户名称 -u 修改用户ID -L锁定用户密码 -U 解除密码锁定 adduser -u用…
linux内核 -内存管理模块概图
1.从进程(task)的角度来看内存管理 每个进程对应一个task_struct;每个task_struct 里面包含指向mm_struct 的指针mm, mm_struct 里面的主要成员： a. 指向vma链表的头指针：mmap b. 指向vma红黑树的根节点: mm_rb c. 指向进程列表的指针pgb;vma(vm_are…
求一个字符串中连续出现的次数最多的子串
求一个字符串中连续出现的次数最多的子串。例如字符串“abababc”,最多连续出现的为ab，连续出现三次。要和求一个字符串中的最长重复子串区分开来，还是上面的字符串，那么最长的重复子串为abab。两个题目的解法有些类似，都用到了后…
java ftp 判断文件是否存在_FTP判断文件是否存在
FTP Client使用的是Apache Commons Net 3.3/*** 检查FTP上指定文件是否存在* param remoteFilePartNameList 文件路径* throws BusinessException* throws IOException*/private void checkFtpFileExist(List remoteFilePartNameList) throws BusinessException, IOException {…
软件定义光网络-SDON
为什么80%的码农都做不了架构师？>>> 软件定义光网络-SDON 随着宽带业务与应用的持续增长，光网络面临着新的发展机遇与技术挑战。作为当前业界研究热点之一，SDON聚焦于将软件定义技术融入光网络的综合解决方案，其关键技…
记录一次爬取某昵称网站的爬虫
同学跑去实习了...然后工作的时候要她用python写一个爬虫，爬取一万个可以用的用户昵称。（为什么他们都能找到工作啊QAQ） 然后，她找到了我...然后在我动笔的时候，发现之前写过的爬虫基本上忘完了...无奈下只好对着以前…
《LINUX3.0内核源代码分析》第一章：内存寻址
https://blog.csdn.net/ekenlinbing/article/details/7613334 摘要：本章主要介绍了LINUX3.0内存寻址方面的内容，重点对follow_page函数进行注释，以帮助读者大致了解ARM A9的页表组织。 读者需要理解一些基本概念：虚拟地址、物理地…
java integer int 比较_java Integer和int之间的比较问题是什么？
展开全部java Integer和int之间e68a84e8a2ad3231313335323631343130323136353331333365633864的比较问题。求解释public static void main(String[] args) { // TODO Auto-generated method stub Integer a new Integer(1); Integer b new Integer(1); int c1; Integer e 1;…
Oracle 12C -- 基于sequence的列的默认值
12C支持先创建一个sequence，然后再将该sequence指定为某个列的值的默认表达式。 和"identity column"具有以下不同点： 对列的个数没有限制 sequence必须在列定义之前定义 如果删除了sequence，会导致后面的insert报错 表的owner&…
Python的XML-RPC学习
编写客户端提交数据到服务器处理是程序员最常碰到的几个问题之一。各种不同的语言对此都有相应的解决方案。比如Unix下，C程序员们可以用SUNRPC，Java程序员则使用RMI来处理。大多数语言还都可以使用Web Service或者ICE。它们的使用方法类似，编…