当前位置: 首页 > 编程日记 > 正文

ConcurrentHashMap实现原理及源码分析

ConcurrentHashMap是Java并发包中提供的一个线程安全且高效的HashMap实现(若对HashMap的实现原理还不甚了解,可参考我的另一篇文章HashMap实现原理及源码分析),ConcurrentHashMap在并发编程的场景中使用频率非常之高,本文就来分析下ConcurrentHashMap的实现原理,并对其实现原理进行分析(JDK1.7).

ConcurrentHashMap实现原理

众所周知,哈希表是中非常高效,复杂度为O(1)的数据结构,在Java开发中,我们最常见到最频繁使用的就是HashMap和HashTable,但是在线程竞争激烈的并发场景中使用都不够合理。

  HashMap :先说HashMap,HashMap是线程不安全的,在并发环境下,可能会形成环状链表(扩容时可能造成,具体原因自行百度google或查看源码分析),导致get操作时,cpu空转,所以,在并发环境中使用HashMap是非常危险的。

  HashTable : HashTable和HashMap的实现原理几乎一样,差别无非是1.HashTable不允许key和value为null;2.HashTable是线程安全的。但是HashTable线程安全的策略实现代价却太大了,简单粗暴,get/put所有相关操作都是synchronized的,这相当于给整个哈希表加了一把大锁,多线程访问时候,只要有一个线程访问或操作该对象,那其他线程只能阻塞,相当于将所有的操作串行化,在竞争激烈的并发场景中性能就会非常差。

HashTable性能差主要是由于所有操作需要竞争同一把锁,而如果容器中有多把锁,每一把锁锁一段数据,这样在多线程访问时不同段的数据时,就不会存在锁竞争了,这样便可以有效地提高并发效率。这就是ConcurrentHashMap所采用的"分段锁"思想。

ConcurrentHashMap源码分析

ConcurrentHashMap采用了非常精妙的"分段锁"策略,ConcurrentHashMap的主干是个Segment数组。

 final Segment<K,V>[] segments;

Segment继承了ReentrantLock,所以它就是一种可重入锁(ReentrantLock)。在ConcurrentHashMap,一个Segment就是一个子哈希表,Segment里维护了一个HashEntry数组,并发环境下,对于不同Segment的数据进行操作是不用考虑锁竞争的。(就按默认的ConcurrentLeve为16来讲,理论上就允许16个线程并发执行,有木有很酷)

  所以,对于同一个Segment的操作才需考虑线程同步,不同的Segment则无需考虑。

Segment类似于HashMap,一个Segment维护着一个HashEntry数组

 transient volatile HashEntry<K,V>[] table;

HashEntry是目前我们提到的最小的逻辑处理单元了。一个ConcurrentHashMap维护一个Segment数组,一个Segment维护一个HashEntry数组。

 static final class HashEntry<K,V> {final int hash;final K key;volatile V value;volatile HashEntry<K,V> next;//其他省略
}    

我们说Segment类似哈希表,那么一些属性就跟我们之前提到的HashMap差不离,比如负载因子loadFactor,比如阈值threshold等等,看下Segment的构造方法

Segment(float lf, int threshold, HashEntry<K,V>[] tab) {this.loadFactor = lf;//负载因子this.threshold = threshold;//阈值this.table = tab;//主干数组即HashEntry数组}

我们来看下ConcurrentHashMap的构造方法

 1  public ConcurrentHashMap(int initialCapacity,
 2                                float loadFactor, int concurrencyLevel) {
 3           if (!(loadFactor > 0) || initialCapacity < 0 || concurrencyLevel <= 0)
 4               throw new IllegalArgumentException();
 5           //MAX_SEGMENTS 为1<<16=65536,也就是最大并发数为65536
 6           if (concurrencyLevel > MAX_SEGMENTS)
 7               concurrencyLevel = MAX_SEGMENTS;
 8           //2的sshif次方等于ssize,例:ssize=16,sshift=4;ssize=32,sshif=5
 9          int sshift = 0;
10          //ssize 为segments数组长度,根据concurrentLevel计算得出
11          int ssize = 1;
12          while (ssize < concurrencyLevel) {
13              ++sshift;
14              ssize <<= 1;
15          }
16          //segmentShift和segmentMask这两个变量在定位segment时会用到,后面会详细讲
17          this.segmentShift = 32 - sshift;
18          this.segmentMask = ssize - 1;
19          if (initialCapacity > MAXIMUM_CAPACITY)
20              initialCapacity = MAXIMUM_CAPACITY;
21          //计算cap的大小,即Segment中HashEntry的数组长度,cap也一定为2的n次方.
22          int c = initialCapacity / ssize;
23          if (c * ssize < initialCapacity)
24              ++c;
25          int cap = MIN_SEGMENT_TABLE_CAPACITY;
26          while (cap < c)
27              cap <<= 1;
28          //创建segments数组并初始化第一个Segment,其余的Segment延迟初始化
29          Segment<K,V> s0 =
30              new Segment<K,V>(loadFactor, (int)(cap * loadFactor),
31                               (HashEntry<K,V>[])new HashEntry[cap]);
32          Segment<K,V>[] ss = (Segment<K,V>[])new Segment[ssize];
33          UNSAFE.putOrderedObject(ss, SBASE, s0); 
34          this.segments = ss;
35      }

初始化方法有三个参数,如果用户不指定则会使用默认值,initialCapacity为16,loadFactor为0.75(负载因子,扩容时需要参考),concurrentLevel为16。

  从上面的代码可以看出来,Segment数组的大小ssize是由concurrentLevel来决定的,但是却不一定等于concurrentLevel,ssize一定是大于或等于concurrentLevel的最小的2的次幂。比如:默认情况下concurrentLevel是16,则ssize为16;若concurrentLevel为14,ssize为16;若concurrentLevel为17,则ssize为32。为什么Segment的数组大小一定是2的次幂?其实主要是便于通过按位与的散列算法来定位Segment的index。至于更详细的原因,有兴趣的话可以参考我的另一篇文章HashMap实现原理及源码分析,其中对于数组长度为什么一定要是2的次幂有较为详细的分析。

  接下来,我们来看看put方法

 public V put(K key, V value) {Segment<K,V> s;//concurrentHashMap不允许key/value为空if (value == null)throw new NullPointerException();//hash函数对key的hashCode重新散列,避免差劲的不合理的hashcode,保证散列均匀int hash = hash(key);//返回的hash值无符号右移segmentShift位与段掩码进行位运算,定位segmentint j = (hash >>> segmentShift) & segmentMask;if ((s = (Segment<K,V>)UNSAFE.getObject          // nonvolatile; recheck(segments, (j << SSHIFT) + SBASE)) == null) //  in ensureSegments = ensureSegment(j);return s.put(key, hash, value, false);}

从源码看出,put的主要逻辑也就两步:1.定位segment并确保定位的Segment已初始化 2.调用Segment的put方法

关于segmentShift和segmentMask

  segmentShift和segmentMask这两个全局变量的主要作用是用来定位Segment,int j =(hash >>> segmentShift) & segmentMask。

  segmentMask:段掩码,假如segments数组长度为16,则段掩码为16-1=15;segments长度为32,段掩码为32-1=31。这样得到的所有bit位都为1,可以更好地保证散列的均匀性

  segmentShift:2的sshift次方等于ssize,segmentShift=32-sshift。若segments长度为16,segmentShift=32-4=28;若segments长度为32,segmentShift=32-5=27。而计算得出的hash值最大为32位,无符号右移segmentShift,则意味着只保留高几位(其余位是没用的),然后与段掩码segmentMask位运算来定位Segment。

get/put方法

  get方法

 public V get(Object key) {Segment<K,V> s; HashEntry<K,V>[] tab;int h = hash(key);long u = (((h >>> segmentShift) & segmentMask) << SSHIFT) + SBASE;
//先定位Segment,再定位HashEntry
if ((s = (Segment<K,V>)UNSAFE.getObjectVolatile(segments, u)) != null &&(tab = s.table) != null) {for (HashEntry<K,V> e = (HashEntry<K,V>) UNSAFE.getObjectVolatile(tab, ((long)(((tab.length - 1) & h)) << TSHIFT) + TBASE);e != null; e = e.next) {K k;if ((k = e.key) == key || (e.hash == h && key.equals(k)))return e.value;}}return null;}

get方法无需加锁,由于其中涉及到的共享变量都使用volatile修饰,volatile可以保证内存可见性,所以不会读取到过期数据。

  来看下concurrentHashMap代理到Segment上的put方法,Segment中的put方法是要加锁的。只不过是锁粒度细了而已。

final V put(K key, int hash, V value, boolean onlyIfAbsent) {HashEntry<K,V> node = tryLock() ? null :scanAndLockForPut(key, hash, value);//tryLock不成功时会遍历定位到的HashEnry位置的链表(遍历主要是为了使CPU缓存链表),若找不到,则创建HashEntry。tryLock一定次数后(MAX_SCAN_RETRIES变量决定),则lock。若遍历过程中,由于其他线程的操作导致链表头结点变化,则需要重新遍历。V oldValue;try {HashEntry<K,V>[] tab = table;int index = (tab.length - 1) & hash;//定位HashEntry,可以看到,这个hash值在定位Segment时和在Segment中定位HashEntry都会用到,只不过定位Segment时只用到高几位。HashEntry<K,V> first = entryAt(tab, index);for (HashEntry<K,V> e = first;;) {if (e != null) {K k;if ((k = e.key) == key ||(e.hash == hash && key.equals(k))) {oldValue = e.value;if (!onlyIfAbsent) {e.value = value;++modCount;}break;}e = e.next;}else {if (node != null)node.setNext(first);elsenode = new HashEntry<K,V>(hash, key, value, first);int c = count + 1;
              //若c超出阈值threshold,需要扩容并rehash。扩容后的容量是当前容量的2倍。这样可以最大程度避免之前散列好的entry重新散列,具体在另一篇文章中有详细分析,不赘述。扩容并rehash的这个过程是比较消耗资源的。
if (c > threshold && tab.length < MAXIMUM_CAPACITY)rehash(node);elsesetEntryAt(tab, index, node);++modCount;count = c;oldValue = null;break;}}} finally {unlock();}return oldValue;}

总结

ConcurrentHashMap作为一种线程安全且高效的哈希表的解决方案,尤其其中的"分段锁"的方案,相比HashTable的全表锁在性能上的提升非常之大。本文对ConcurrentHashMap的实现原理进行了详细分析,并解读了部分源码,希望能帮助到有需要的童鞋。

转载于:https://www.cnblogs.com/chengxiao/p/6842045.html

相关文章:

Gulp的简单使用

我比较喜欢使用Gulp&#xff0c;因为简单好用&#xff01; 今天的任务是&#xff1a;使用Gulp来压缩 jQuery源码&#xff0c;各输出一个压缩的和未压缩的版本 第一步&#xff1a;安装 cnpm install gulp --save-dev cnpm install gulp-rename gulp-uglify --save-dev 第二步&…

Mask_RCNN安装与踩过的坑

一、Mask_RCNN下载 https://www.bilibili.com/video/BV1M7411x7is?t629&p5 按照上述教程的话&#xff0c;安装的是ballon例子的Mask_RCNN。这个理解的话&#xff0c;修改Mask_RCNN也就很简单了。 1.2 更新驱动 强烈建议更新驱动&#xff0c;因为以后如果装pytorch的话&…

Lambda表达式的运用(详尽版)

Lambda表达式是Java JDK8发布的最新特性&#xff0c;它极大地简化了定义匿名内部类时要写的代码&#xff0c;使代码变得更加简洁紧凑。 我们知道定义匿名内部类时要紧跟创建对象&#xff0c;接着要实现接口或重写父类中的抽象方法&#xff0c;例如&#xff1a; public interfa…

Linux15-SELinux

目录 一、查看和配置SELinux生效 二、SELinux上下文 2.1、查看SELinux上下文 2.2、semanagerestorecon命令更改SELinux上下文 三、SELinux布尔值 四、SELinux故障排除 Security Enhanced Linux&#xff08;SELinux&#xff09;是一个额外的系统安全层&#xff0c;是一种强…

Java学习(三)JSP学习1

一、 理解JSP技术 JSP全名为Java Server Pages&#xff0c;中文名叫java服务器页面&#xff0c;其根本是一个简化的Servlet设计&#xff0c;它 是由Sun Microsystems公司倡导、许多公司参与一起建立的一种动态网页技术标准。JSP技术有点类似ASP技术&#xff0c;它是在传统的网…

通过Java代码实现图片的放大和缩小

本文介绍的例子在Android安卓手机上测试通过。 先看看效果吧。可以看到这个开发好的安卓应用有三个按钮&#xff1a;Zoom In缩小图片&#xff0c;Zoom Out放大图片和Save保存。 初始页面&#xff1a; 可以在左边边框自由移动图片&#xff0c;图片下面的调试界面debug screen会显…

ProxyError: Conda cannot proceed due to an error in your proxy configuration

右键网络---->属性---->左下角的Internet选项---->链接---->局域网设置 将所以的对号去掉

Java访问权限(详尽版)

Java中的访问权限一共有四种&#xff1a;public 、protected 、 默认的 、private&#xff08;访问范围由大到小&#xff09;&#xff1a; 先说public和private这两种&#xff0c;因为这两种最容易理解&#xff1a; public&#xff1a;在整个项目中都可以被访问&#xff0c;无…

suse11sp4配置vnc显示gnome

目录 一、suse11sp4配置vnc默认显示xterm 二、suse11sp4配置vnc显示gnome桌面 一、suse11sp4配置vnc默认显示xterm 今天给一台比较老的服务器配置vnc服务&#xff0c;操作系统为suse11sp4。该服务器已经安装了gnome界面和vnc。vncpasswd设置密码&#xff0c;vncserver :1设置…

ubuntu18.04安装CUDA10.0

1、更新驱动 对于CUDA10.0&#xff0c;要求驱动版本大于410.48&#xff0c;因此首先要更新驱动 ubuntu-drivers devices&#xff08;查看所有驱动&#xff09; sudo ubuntu-drivers autoinstall&#xff08;自动安装最适合的驱动&#xff09; 查看驱动版本 nvidia-smi 2、下载…

运行时异常 检查时异常

Throwable是Java程序中所有异常对象的根基类&#xff0c;而Throwable是从Object类直接继承来的&#xff0c; Throwable可分为error&#xff08;错误&#xff09;和 Exception&#xff08;异常&#xff09;。error表示的是JDK出了问题&#xff0c;与写的代码无关&#xff1b;而E…

Atitit. Attilax企业框架 AEF的发展里程总结

Atitit. Attilax企业框架 AEF的发展里程总结 1. Attilax企业框架and框架发展思想 1 2. AEF框架 2 2.1. 多语言支持&#xff0c;涉及的语言 java ,c# php python js c 2 2.2. 业务模块支持 2 2.3. 技术组件支持 2 2.4. 平台化支持 2 2.5. 插件化支持 2 3. AEF框架发展里程 3 3.1…

1.3创建项目「深入浅出ASP.NET Core系列」

控制台创建项目 dotnet new --help 使用控制台采集项目&#xff0c;务必要熟练使用命令&#xff0c;--help是命令帮助的指明灯&#xff0c;在你无法google的时候&#xff0c;可以离线状态最快的帮助到你。 根据模板名称&#xff0c;我们可以创建各种模板&#xff0c;比如 dotne…

Linux16-防火墙与firewalld

目录 一、netfilter与firewalld 二、firewalld与firewall-cmd、firewall-config 2.1、预定义区域 2.2、预定义服务 2.3、firewall-cmd和firewall-config配置工具 2.4、富规则rich-rule 一、netfilter与firewalld linux内核有个防火墙模块netfilter&#xff0c;它是一个 …

throws throw 自定义异常

我们知道当程序遇到异常时除了用try-catch-finally来捕获异常外&#xff0c;还可以用throws和throw去抛出异常&#xff0c;使用异常处理可以定位问题所在处&#xff0c;方便修改程序代码&#xff1a; 例如利用try-catch-finally来捕获异常&#xff1a; public class Test{pub…

配置hadoop集群一

花了1天时间最终把环境搭建好了。整理了一下&#xff0c;希望对想学习hadoop的有所帮助。资料下载&#xff1a;http://pan.baidu.com/s/1kTupgkn包括了linux虚拟机。jdk, hadoop1.0环境搭建准备工作&#xff1a;hadoop_master 192.168.50.158hadoop_slave 192.168.50.136网络…

将前台日期格式转成与数据库日期格式相对应,后台java转数据库日期格式

前台到后台java时data日期类型的转化 在实体类中用DataTimeFormat&#xff0c;这样设置即使传过来是空的字符串也是可以转的&#xff0c;要和前面传过来的格式一致&#xff0c;如 XmlElement(name"BeginDate") DateTimeFormat(pattern"yyyy-MM-dd") privat…

Ubuntu18.04安装cudnn

下载Cudnn cudnn下载版本要与cudn版本相对应。笔者cudn为10.0&#xff0c;则cudnn选7.65。下载地址&#xff1a; https://developer.nvidia.com/rdp/cudnn-archive 下载for Linux这个。 编译 解压后运行以下命令&#xff1a; sudo cp cuda/include/cudnn.h /usr/local/cuda…

Linux17-磁盘分区、文件系统、逻辑卷管理LVM

目录 一、磁盘分区、文件系统、永久挂载 1.1、MBR分区方案 1.2、使用fdisk、mkfs、partprobe、blkid、lsblk等命令管理MBR分区 1.3、swap分区 1.4、GPT分区方案、使用gdisk管理GPT分区 二、逻辑卷LVM&#xff08;Logical Volume Management&#xff09; 2.1、物理卷PV、…

javascript基础 之 json

1&#xff0c;json是用于存储和传输的数据格式 全称&#xff1a;JSON 英文全称 JavaScript Object Notation json转化为javascript的规则&#xff1a; 数据为 键/值 对。数据由逗号分隔。大括号保存对象方括号保存数组<body> <p id"hehe"></p> <…

List常用方法总结 遍历集合的方法

List接口继承Collection接口&#xff0c;该接口属于数据结构中的线性结构&#xff0c;用户可以根据元素的整数索引来访问元素&#xff0c;换句话说就是List集合是按照存储的顺序保存的&#xff0c;且从0开始数&#xff0c;说白了就是就相当于一个数组&#xff0c;不同的是数组要…

ubuntu下载安装MaskRCNN-benchmark

在window下&#xff0c;配个环境&#xff0c;一堆错误&#xff0c;一周多都没解决。换到ubuntu下&#xff0c;不到一天就配好了 强烈建议直接去ubuntu下配置&#xff0c;千万别在window环境下配置。 一、下载anaconda&#xff0c;创建虚拟环境 下载anaconda的步骤读者可以去…

积跬步,聚小流------ps有用小技巧,改变png图标颜色

积跬步&#xff0c;聚小流------ps有用小技巧&#xff0c;改变png图标颜色 * 实现效果&#xff1a; 原图&#xff1a; 改动后&#xff1a; * 实现目的&#xff1a; 满足为实现不同界面色彩搭配改动png图标的颜色 * 实现方法&#xff1a; 1、打开Photoshop工具&#xff0c;导…

linux常用运维工具uptime、iostat、vmstat、sar

目录 一、uptime 二、iostat 三、vmstat 四、sar 一、uptime uptime可以告诉你系统已经运行了多久。uptime命令回显一行信息&#xff0c;包括&#xff1a;系统运行了多久&#xff0c;目前有多少用户在登录&#xff0c;过去1、5、15分钟系统平均负载。这些内容和命令w回显的…

《人类简史》八、融合统一(下)——宗教的法则、历史的混沌

在前面&#xff0c;我们说了金钱和帝国&#xff0c;今天我们聊一聊宗教。宗教的话题算是比较敏感的&#xff0c;必定很多人是拥有自己的宗教信仰的&#xff0c;如果在下面的论述过程之中&#xff0c;让您觉得有什么不妥的地方&#xff0c;还希望能够理解。我并没有贬低或者蔑视…

Set集合常用方法 遍历Set集合的方法

Set接口继承Collection接口&#xff0c;它与List集合有一个区别就是&#xff1a;List集合可以保存重复的数据&#xff0c;而Set集合不可以。Set接口有三个常用实现类&#xff1a; HashSet&#xff0c;特点&#xff1a; 它不按照存储的顺序保存&#xff0c;具有不确定性&#…

ubuntu下使用conda出现solving environment失败

更换anaconda的源&#xff08;注意是anaconda的源&#xff0c;不是ubuntu的源&#xff09; sudo gedit ./.condarc在出现的空文档中写入 channels:- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free- htt…

centos8编译openssl-1.0.2u、openssl-1.1.1k

目录 一、给openssl-1.0.2u打包rpm 二、编译安装openssl-1.1.1k 三、给openssl-1.1.1k打包rpm&#xff08;不推荐&#xff01;&#xff09; 近日openssl爆出拒绝服务、证书绕过漏洞&#xff0c;CVE编号CVE-2021-3449、CVE-2021-3450。 解决方法&#xff1a; CentOS7默认ope…

jquery 1.7.2源码解析(二)构造jquery对象

构造jquery对象 jQuery对象是一个类数组对象。 一&#xff09;构造函数jQuery() 构造函数的7种用法: 1.jQuery(selector [, context ]) 传入字符串参数&#xff1a;检查该字符串是选择器表达式还是HTML代码。如果是选择器表达式&#xff0c;则遍历文档查找匹配的DOM元素&#x…

Map接口及其常用方法

Map集合基于键(key)和值(value)的映射&#xff0c;每个键只能映射一个值&#xff0c;也就是说key不可以重复&#xff08;当然喽&#xff0c;重复的话就按最后一个为准&#xff09;。键和值都可以是任何引用数据类型的值&#xff1b;且一对键值的存放是无序的。 Map常用的实现类…