Memcache内存分配策略
转自：http://tank.blogs.tkiicpp.com/2010/12/14/memcache%e5%86%85%e5%ad%98%e5%88%86%e9%85%8d%e7%ad%96%e7%95%a5/
一、Memcache内存分配机制
关于这个机制网上有很多解释的，我个人的总结如下。
- Page为内存分配的最小单位。
Memcached的内存分配以page为单位，默认情况下一个page是1M，可以通过-I参数在启动时指定。如果需要申请内存时，memcached会划分出一个新的page并分配给需要的slab区域。page一旦被分配在重启前不会被回收或者重新分配（page ressign已经从1.2.8版移除了）
- Slabs划分数据空间。
Memcached并不是将所有大小的数据都放在一起的，而是预先将数据空间划分为一系列slabs，每个slab只负责一定范围内的数据存储。如下图，每个slab只存储大于其上一个slab的size并小于或者等于自己最大size的数据。例如：slab 3只存储大小介于137 到 224 bytes的数据。如果一个数据大小为230byte将被分配到slab 4中。从下图可以看出，每个slab负责的空间其实是不等的，memcached默认情况下下一个slab的最大值为前一个的1.25倍，这个可以通过修改-f参数来修改增长比例。
- Chunk才是存放缓存数据的单位。
Chunk是一系列固定的内存空间，这个大小就是管理它的slab的最大存放大小。例如：slab 1的所有chunk都是104byte，而slab 4的所有chunk都是280byte。chunk是memcached实际存放缓存数据的地方，因为chunk的大小固定为slab能够存放的最大值，所以所有分配给当前slab的数据都可以被chunk存下。如果时间的数据大小小于chunk的大小，空余的空间将会被闲置，这个是为了防止内存碎片而设计的。例如下图，chunk size是224byte，而存储的数据只有200byte，剩下的24byte将被闲置。
- Slab的内存分配。
Memcached在启动时通过-m指定最大使用内存，但是这个不会一启动就占用，是随着需要逐步分配给各slab的。
如果一个新的缓存数据要被存放，memcached首先选择一个合适的slab，然后查看该slab是否还有空闲的chunk，如果有则直接存放进去；如果没有则要进行申请。slab申请内存时以page为单位，所以在放入第一个数据，无论大小为多少，都会有1M大小的page被分配给该slab。申请到page后，slab会将这个page的内存按chunk的大小进行切分，这样就变成了一个chunk的数组，在从这个chunk数组中选择一个用于存储数据。如下图，slab 1和slab 2都分配了一个page，并按各自的大小切分成chunk数组。
- Memcached内存分配策略。
综合上面的介绍，memcached的内存分配策略就是：按slab需求分配page，各slab按需使用chunk存储。
这里有几个特点要注意，- Memcached分配出去的page不会被回收或者重新分配
- Memcached申请的内存不会被释放
- slab空闲的chunk不会借给任何其他slab使用
知道了这些以后，就可以理解为什么总内存没有被全部占用的情况下，memcached却出现了丢失缓存数据的问题了。
相关文章：
论排列组合，持续更新
今天刚好碰到了一个排列组合问题，因为之前对这方面的学习比较少，所以用的非常蠢的方法做了四位数中取三位的排列，写的程序太有局限性，源码如下#define _CRT_SECURE_NO_WORNINGS 1#include<stdio.h>#include<stdlib.h>…
Python 中少为人知的 10 个安全陷阱
作者：Dennis Brinkrolf译者：豌豆花下猫Python猫原题：10 Unknown Security Pitfalls for Python英文：https://blog.sonarsource.com/10-unknown-security-pitfalls-for-pythonPython 开发者们在使用标准库和通用框架时，…
JS+CSS3 360度全景图插件 - Watch3D.js
日常闲扯 从上一篇文章到这篇中间快过了一年了，时间真滴过得快。不是在下中间没想过写新的文章，而是自己确实变懒了(体重1 1 1 1....) 。。OTL。。。不过到最后觉得还是需要写点东西，不然人就真废了，于是便有了这样一个插件&#…
CQRS学习——最小单元的Cqrs（CommandEvent）[其一]
【说明：博主采用边写边思考的方式完成这一系列的博客，所以代码以附件为准，文中代码仅为了说明。】 结构 在学习和实现CQRS的过程中，首要参考的项目是这个【http://www.cnblogs.com/yangecnu/p/Introduction-CQRS.html】。所以Dpfb…
PHP APC安装与使用
最简单的方法，找到php安装目录的pecl 自动安装： # /usr/local/php/bin/pecl install apc 下面按提示一步步完成即可 配置/etc/php.ini 末尾加入extensionapc.so 手动安装： 官网 http://cn2.php.net/manual/zh/book.apc.php 下载http://p…
AIphaCode 并不能取代程序员，而是开发者的工具
编译 | 禾木木 出品 | AI科技大本营（ID:rgznai100） DeepMind 是 AI 研究实验室，它引入了一种深度学习模型，可以生成具有显著效果的软件源代码。该模型名为 AIphaCode，是基于 Transformers，OpenAI 在其代码生…
源码阅读：SDWebImage（六）——SDWebImageCoderHelper
该文章阅读的SDWebImage的版本为4.3.3。 这个类提供了四个方法，这四个方法可分为两类，一类是动图处理，一类是图像方向处理。 1.私有函数 先来看一下这个类里的两个函数 /**这个函数是计算两个整数a和b的最大公约数*/ static NSUInteger gcd(N…
基于 OpenCV 的网络实时视频流传输
作者 | 努比来源 | 小白学视觉大多数人会选择使用IP摄像机（Internet协议摄像机）而不是CCTV（闭路电视），因为它们具有更高的分辨率并降低了布线成本。在本文中，我们将重点介绍IP摄像机。IP摄像机是一种数字 摄…
【转】让Chrome化身成为摸鱼神器，利用Chorme运行布卡漫画以及其他安卓APK应用教程...
下周就是十一了，无论是学生党还是工作党，大家的大概都会有点心不在焉，为了让大家更好的心不在焉，更好的在十一前最后一周愉快的摸鱼，今天就写一个如何让Chrome（google浏览器）运行安卓APK应用的教…
PHP安装parsekit扩展查看opcode
也可以通过VLD查看，具体请看本人写的http://blog.csdn.net/21aspnet/article/details/7002644安装parsekit扩展 http://pecl.php.net/package/parsekit 下载最新的 #wget http://pecl.php.net/get/parsekit-1.3.0.tgz 安装过程省略 可以参考 本人写的http://blog.c…
group by 查找订单的最新状态 join
Order：snProcedures：sn,status1、 有订单表和流程表。订单表含有订单的详细信息【假设没有订单状态哈】，每个订单有好多种状态：已付款、处理中、待收货等等。现在的需求可能是查询订单状态是待收货的所有订单的信息。【答】先找到…
Xcache安装与使用
官网：http://xcache.lighttpd.net 最新版本下载地址：http://xcache.lighttpd.net/wiki/Release-1.3.2 安装： # wget http://xcache.lighttpd.net/pub/Releases/1.3.2/xcache-1.3.2.tar.gz # tar zvxf xcache-1.3.2.tar.gz # cd xcache-1.3…
安装mysql_python的适合遇到mysql_config not found解决方案（mac）
为什么80%的码农都做不了架构师？>>> 安装mysql_python的适合遇到mysql_config not found解决方案（mac） 用pip安装MySQL-python时候遇到报错： ------我是分割线------ Complete output from command python setup.py e…
推荐 6 个好用到爆的 Pycharm 插件
作者 | 小欣来源 | Python爱好者集中营相信对于不少的Python程序员们都是用Pycharm作为开发时候的IDE来使用的，今天小编来分享几个好用到爆的Pycharm插件，在安装上之后，你的编程效率、工作效率都能够得到极大地提升。安装方法插件的安装方法一…
Kibana 用户指南（使用Flight仪表盘探索Kibana）
使用Flight仪表盘探索Kibana 你是Kibana的新手并希望尝试一下，只需单击一下，你就可以安装Flights样本数据并开始与Kibana交互。 Flight数据集包含四家航空公司的数据，你可以从Kibana主页加载数据和预配置的仪表盘。 在主页上，单击…
php扩展xdebug安装以及用kcachegrind系统分析
一：安装 安装方法一：编译安装1、下载PHP的XDebug扩展，网址：http://xdebug.org/# wget http://pecl.php.net/get/xdebug-2.1.2.tgz# tar -xzf xdebug-2.1.2.tgz# xdebug-2.1.2# cd xdebug-2.1.2# /usr/local/php/bin/phpize# ./con…
Meta AI 新研究，统一模态的自监督新里程碑
作者 | 青苹果来源 | 数据实战派虽然 AI 领域不断涌现出新的突破和进展，却始终难以逃离单一领域的束缚——一种用于个性化语音合成的新颖方法，却并不能用于识别人脸的表情。为了解决这个问题，不少研究人员正在致力于开发功能更强大、应用更广…
细说Debug和Release区别
VC下Debug和Release区别 最近写代码过程中，发现 Debug 下运行正常，Release 下就会出现问题，百思不得其解，而Release 下又无法进行调试，于是只能采用printf方式逐步定位到问题所在处，才发现原来是给定的一个…
26期20180601目录管理
6月1日任务2.1/2.2 系统目录结构2.3 ls命令2.4 文件类型2.5 alias命令系统目录结构ls - list所有的用户在系统里都有自己的家目录，比如现在登陆的是root用户，登陆进去就是在root的家目录中，可以看到之前创建的公钥文件也是在这。但是如果是其…
thttpd安装与调试
http://www.acme.com/software/thttpd/ thttpd是一个非常小巧的轻量级web server，它非常非常简单，仅仅提供了HTTP/1.1和简单的CGI支持，在其官方网站上有一个与其他web server（如Apache, Zeus等）的对比图Benchmark&…
7 款可替代 top 命令的工具！(二)
作者 | JackTian来源 | 杰哥的IT之旅上一篇文章中给大家介绍了《11 款可替代 top 命令的工具！》，今天我再来给大家推荐 7 款可替代 top 命令的工具，看完这两篇替代品的文章相信能让你对 Linux 操作系统下一个小小的命令大开眼界。一、atopato…
Error:Execution failed for task ':app:dexDebug'. com.android.ide.common.process.ProcessException
异常Log： Error:Execution failed for task ‘:app:dexDebug’. > com.android.ide.common.process.ProcessException: org.gradle.process.internal.ExecException: Process ‘command ‘/Library/……/java” finished with non-zero exit value 2 错误原因&am…
# 学号 2017-2018-20172309 《程序设计与数据结构》第十一周学习总结
---恢复内容开始--- 学号 2017-2018-20172309 《程序设计与数据结构》第十一周学习总结 教材学习内容总结 第23章 初识Android操作系统：一个多用户的Linux系统，一个运用程序运行时与其他的运用运行是独立的。发展：在Android4.4之前所有的应用…
php扩展xdebug基本使用
官网：http://www.xdebug.org/ 使用：http://www.xdebug.org/docs/安装 http://blog.csdn.net/21aspnet/article/details/7036087使用1.获取文件名，行号，函数名 xdebug_call_class() <?php function fix_string($a) { …
基于 Opencv 实现眼睛控制鼠标
作者 | 小白来源 | 小白学视觉如何用眼睛来控制鼠标？一种基于单一前向视角的机器学习眼睛姿态估计方法。在此项目中，每次单击鼠标时，我们都会编写代码来裁剪你们的眼睛图像。使用这些数据，我们可以反向训练模型，从你们…
linux 安装安装rz/sz 和 ssh
安装rz，sz yum install lrzsz; 安装ssh yum install openssh-server 查看已安装包 rpm -qa | grep ssh 更新yum源 1、备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2、下载新的CentOS-Base.repo 到/etc/yum.repos.d/ CentO…
css左固定右自适应常用方法
下面是几种方法的公用部分（右自适应也是一样的，换一下方向） html: <div class"demo"> <div class"sidebar">我是固定的</div> <div class"content">我是自适应的</div> </di…
nginx或httpd实现负载均衡tomcat（三）
接博客nginx或httpd实现反向代理tomcat并实现会话保持（二）实例四：使用httpd负载均衡后端tomcat服务第一步：准备两个tomcat服务器节172.16.240.203修改tomcat的server.xml配置文件，添加一个host。<Host name"to…
为 PHP 应用提速、提速、再提速
原文地址： http://www.ibm.com/developerworks/cn/opensource/os-php-fastapps1/ http://www.ibm.com/developerworks/cn/opensource/os-php-fastapps2/index.html为 PHP 应用提速、提速、再提速！PHP 是一种脚本语言，常用于创建 Web 应用程序…
冬奥会夺金的背后杀手锏，竟是位 AI 虚拟教练
整理 | 禾木木 出品 | AI科技大本营（ID:rgznai100） 近日，一则消息登上了热搜： 2月14日晚，在北京冬奥会自由式滑雪女子空中技巧决赛中，徐梦桃为中国代表团再添一金。她选择了难度系数4.293的动作，…