当前位置: 首页 > 编程日记 > 正文

随笔之如何实现一个线程池

为什么80%的码农都做不了架构师?>>>   hot3.png

 
一 缘由:
    最近因工作问题,需要实现一个简单的线程池,满足一下要求,
  • 可伸缩,即一旦发现线程不够用,则可以动态增加线程。(至于缩减线程,这个可能难度比较大,暂时不考虑)。
  • 支持超时任务。比如提交一个Task,可以设置5秒后执行,并且可以设置执行一次,还是每隔5秒执行。
基本上就是这两个要求。下面讨论下实现上的问题。
 
二 Windows平台
1 Windows平台实现一个线程池(不使用完成端口),我最初的想法是:
  •  创建比如20个线程,然后这20个线程都WaitForXXXObject,在一个Event上。
  • 添加任务的时候,触发这个Event,为了避免惊群现象(例如只有1个任务的时候,20个线程全起来抢任务,结果其他19个线程白起来了。这样导致系统效率会显著下降。),CreateEvent的时候可以设置下,保证只有一个在等待的线程会启动。
问题:
  • 不太好实现超时任务,这20个线程,该哪一个去做超时检测呢?虽然Wait函数提供了超时机制,但总不可能这20个都去做超时检测吧?
  • 解决办法是,可能需要单独一个线程去定时检查,然后把到期的任务加入到任务队列头,然后触发Event,这样其他线程就能顺利得到任务了。
  • 另外一种方式是这20个线程中有一个做超时检查,然后执行最先到期的任务。这样的问题就是如果该线程执行的任务要是时间过长的话,将导致其他超时任务没法执行。
  • 综合考虑的话,还是用一个单独的线程去检查比较好。
2 Windows平台上使用完成端口
  • 使用完成端口就简单了,线程池中的线程个数将是CPU个数的2倍(这个是推荐值,应该也是绝大多数人的选择了)。
  • Wait的时候,当有事情发生时,内核会自动调度一个线程去执行。而且接连的任务会倾向于使用同一个线程来执行。这样可以减少线程切换的时间。所以,惊群效应由内核保证不会发生了。
  • 解决超时任务的检查,这个也没有更好的办法。只能采取和上面一样的方法了。
三 Linux平台
1 Linux平台实现线程池,基本思路和Windows一样,但是由于Linux提供的线程同步原语(POSIX)不如Windows好用,导致有一些特殊的地方需要注意:
  • 在Windows上,线程间通知无外乎就是使用Event,在Linux上,使用POSIX的condition+mutex,也能完成同样的操作,但是这种方式在linux中用得相对较少,而是大量使用pipe,创建两个fd。当线程1想唤醒线程2的时候,就可以往writeFD中写数据,这样线程2阻塞在readFD中就能返回。我之前及其没搞明白为何要使用pipe,后来突然想明白了。因为Linux上阻塞的方法就是用select,poll和epoll,其中等待的都是FD,那么采用FD这种方式,能够统一调用方法。(因为POSIX缺乏WaitForMultiObject导致,网上有一个Linux下Wait/CreateEvent的系列实现,很难下载到。呵呵)
  • 但是,现在有20个线程,总不可能创建20个pipe吧?即使有20个pipe,那么我要唤醒哪个线程,就得单独往那个线程的writeFD写数据。这明显不是一个好办法。只能使用condition+mutex了。为了避免惊群,操作cond的时候,只能使用Signal,而非Broadcast
  • 超时任务的处理,那么也只能和Windows一样的方法了
四 一个实际的线程池设计
  • 对用户来说,线程池处理的是任务。所以给线程池添加的应该是任务。那么任务有高,中,低三个优先级。另外,有些任务是需要一直占有线程的,所以还区分persist和非persist两种。设计的时候,分别有高中低三个优先级队列。线程池在挑选任务的时候,先处理高,然后是中低优先级的任务。
  • 当线程池中的线程个数小于任务个数的时候,线程池应该自动增加池中的线程。这个就是自动扩展。当线程池中的线程检测到自己长时间没有工作,并且池中线程数量超过最大设置的数量时候,那么线程应该自动退出。按这种方式就可以实现一个比较好的自动缩减。这样的话,每个线程都需要有一个超时检测,看看自己是不是多余了。
  • 对于定/超时任务,需要给线程池增加一个高优先级,persist的job。这个job自带一个定时任务队列。添加定时任务,其实就是给这个队列添加成员。然后唤醒该线程。这个线程从其中选择一个任务,然后再提交给线程池。(其实就是我们在Windows上的方案)
 
 
 

转载于:https://my.oschina.net/innost/blog/36811

相关文章:

url传递中文的解决方案

作者&#xff1a;xrascal 出处&#xff1a;aspxcn url传递中文的解决方案 1.设置web.config文件。&#xff08;我不喜欢设置成这样&#xff09; <system.web> ...... <globalization requestEncoding"gb2312" responseEncoding"gb2312" cult…

要哭了,模拟器键盘一直不显示

为什么80%的码农都做不了架构师&#xff1f;>>> 今天第一次遇见模拟器键盘不显示&#xff0c;导致应用对键盘的通知监听没任何卵用&#xff0c;搞了很久还是找不到原因&#xff0c;泪崩&#xff01;&#xff01;&#xff01;&#xff01;&#xff01; 最后检查到是…

用机器学习还原《隐秘的角落》那些被修改的台词

来源 | 东泽聊技术责编 | Carol前两天&#xff0c;作者一口气看完了电视剧《隐秘的角落》&#xff0c;剧情相当精彩。美中不足的是&#xff0c;剧组为了让片子过审&#xff0c; 导致11集&#xff0c;12集的剪辑顺序被打乱&#xff0c;甚至台词被修改&#xff0c;以至于片中有几…

在ASP.NET下实现数字和字符相混合的验证码

作者&#xff1a;kwklover&#xff08;原作&#xff09; 出处&#xff1a;CSDN 在ASP.NET下实现数字和字符相混合的验证码 经常在论坛里看到有问怎么实现验证码的帖子,其实关于验证码的文章在CSDN,DEV-CLUB等网站上都有很多,但是很多文章只讲诉了如何输出一个随机生成数字…

多节点CDN缓存加速系统wdcdn2.4版本发布(20111213)

多节点CDN缓存加速系统wdcdn2.4版本发布(20111213) Wdcdn是一套基于Linuxapachesquid架构开发的CDN缓存加速系统及管理系统 可帮助大中小站长或大中小企业低成本&#xff0c;快速简单&#xff0c;构建自己的CDN网络及服务器群,提供更好的在线服务,更快速的网络和网站,我们也致力…

Attribute在.net编程中的应用

作者&#xff1a;niwalker 出处&#xff1a;csdn SqlCommandGenerator类的设计 SqlCommandGEnerator类的设计思路就是通过反射得到方法的参数&#xff0c;使用被SqlCommandParameterAttribute标记的参数来装配一个Command实例。 引用的命名空间&#xff1a;//SqlCommandG…

RouterOS连载3:架设PPPoE服务

让ROS提供PPPoE服务&#xff0c;可对客户端提供类似ADSL的认证上网方式。具体设置步骤如下&#xff1a; 一、创建地址池 从Winbox联入ROS&#xff0c;单击“IP”&#xff0d;〉“Pool”,如下图 打开“IP Pool”对话框 单击“”按钮&#xff0c;添加地址池,Name: pppoepool1 …

免费技术直播:唐宇迪带你一节课了解机器学习经典算法

常常有小伙伴在后台反馈&#xff1a;机器学习经典算法有哪些&#xff1f;自学难度大又没有效果&#xff0c;该怎么办&#xff1f;CSDN为了解决这个难题&#xff0c;联合唐宇迪老师为大家带来了一场精彩的直播【一节课掌握机器学习经典算法-线性回归模型】。本次直播将帮大家了解…

初学markdown

分段与标题 分段 正如markdown文档所说的&#xff0c;段落是由若干行组成的&#xff0c;段落之间以一行空行分开。(也就是每一段的前后都要有一个空行) 一个 Markdown段落是由一个或多个连续的文本行组成&#xff0c;它的前后要有一个以上的空行&#xff08;空行的定义是显示上…

C++中关于流的概念

怎么从键盘中读取一个整数并包括错误处理 int a; while (cin.get(ch1)) { if (ch1\n) cout<<"input the right number:"; //第一次输入换行&#xff1b; else if (cin.get(ch2),ch2\n) { ach1-0; …

成为人工智能视觉应用工程师需要多久?我用了45天!

说到计算机科学中最热门的几个方向&#xff0c;毫无疑问会提到计算机视觉&#xff01;不管是最近大火的人脸识别&#xff0c;还是计算机视觉、自动驾驶、VR影像&#xff0c;不管是教育、医疗、还是安防、娱乐&#xff0c;计算机视觉的应用场景开始变得越来越广。在6月23~24日的…

一个请求从 URL 字符串到 HTML 代码的“漫长曲折”之路

作者&#xff1a;Dino Esposito 出处&#xff1a;msdn ASP.NET HTTP 运行时 一个请求从 URL 字符串到 HTML 代码的“漫长曲折”之路 Dino EspositoWintellect 2003年7月10日 摘要&#xff1a;本文详细介绍了 HTTP 运行时的组成部分&#xff0c;以及在处理对 ASP.NET 应用程…

asp.net webapi 序列化为xml 时实体属性增加![CDATA[]]防止特殊字符

有时webapi在序列化xml时&#xff0c;可能需要给某些带有html或特殊字符&#xff08;如 < > & /&#xff09;的字段加上<![CDATA[]]> 已防止影响xml正常数据&#xff0c;如果使用.aspx视图那可直接在前台绑定字段时直接加入<![CDATA[]]>&#xff0c;weba…

C#中读取数据库中Image数据

作者&#xff1a;未知 请与本人联系DataReader 的默认行为是在整个数据行可用时立即以行的形式加载传入数据。但是&#xff0c;对于二进制大对象 (BLOB) 则需要进行不同的处理&#xff0c;因为它们可能包含数十亿字节的数据&#xff0c;而单个行中无法包含如此多的数据。Comman…

创新工场提出中文分词和词性标注模型,性能分别刷新五大数据集| ACL 2020​

出品 | AI科技大本营&#xff08;ID:rgznai100&#xff09;中文分词和词性标注是中文自然语言处理的两个基本任务。尽管以BERT为代表的预训练模型大行其道&#xff0c;但事实上&#xff0c;中文中基于全词覆盖 &#xff08;whole word masking&#xff09;的预训练模型比直接使…

使用XML在MSSQL把字串分解

今天要在mssql里处理一串Email地址。以分号分开的。以前自己写过一个split函数的。这次想使用xml来处理。mssql 2000和mssql 2005数据库对xml的支持有些不同。至少mssql 2005的功能多些。代码一&#xff1a;这个代码在MSSQL 2005测试成功, 在mssql 2000不通过。最后生成一个表变…

tomcat中server.xml文件详解

原文&#xff1a;http://www.cnblogs.com/starhu/p/5599773.html Tomcat Server的结构图如下&#xff1a;该文件描述了如何启动Tomcat Server <Server> <Listener /> <GlobaNamingResources> </GlobaNamingResources <Service> …

想提前目睹人到中年的发型?试试这款自制秃头生成器

要说最近哪部剧最红&#xff0c;我说是《隐秘的角落》没人有意见吧&#xff1f;看了这部片子&#xff0c;全国观众除了被男主张东升提醒爬山有风险之外&#xff0c;片中的另一个场景也颇让人印象深刻&#xff0c;容易让人产生共鸣&#xff0c;那就是张东升看到自己二十年后的样…

Windows Phone实用开发技巧(32):照片角度处理

在实际项目中&#xff0c;可能需要用户从相册中选择图片然后进行相应的处理。但是不知道大家有没有发现这样一种情况&#xff0c;就是手机里看是竖着的&#xff0c;但是上传到微博或者哪里的时候确实横着的。一种情况是你拿手机竖着拍照得话&#xff0c;照片就是横着的&#xf…

ubuntu 12 JDK 编译

下载openjdk源码 http://jdk7.java.net/source.html 安装Ubuntu上面的依赖包&#xff1a; 1、参考原书 环境变量配置&#xff1a; 1、去www.hzbook.com上面将深入理解java虚拟机&#xff0c;周志明写的那本书的代码download2、ALT_BOOTDIR变量最好引用 jdk1.7.0_04&#xff0c…

“编程能力差,90%是输在这点上!”谷歌AI开发专家:逆袭并没那么难!

Google 人工智能开发者专家彭靖田老师说——超90%的程序员在初学Python 人工智能时&#xff0c;都会遇到下面3个问题&#xff1a;1.想入门人工智能&#xff0c;但不知从何学起&#xff0c;也不知道该选择什么方向...2.Python语法、机器学习/深度学习框架、算法都能看懂&#xf…

文本的DES加密 MD5散列值 DSA的数字签名

作者&#xff1a;未知文本的DES加密为了对称加密的安全&#xff0c;将密码进行封装&#xff0c;先新建一个用于保存密码的类库cl&#xff1a;using System;using System.Text ;namespace cl{ /// <summary> /// Class1 的摘要说明。 /// </summary> public class C…

在SQL Server中调用.NET程序集

使用到这东西完全是个巧合和无奈之举。不小心在数据库中插入了一些HttpUtility.UrlEncodeUnicode之后的数据。数据库里的一些字段成了%uxxxx%uxxxx这样的结构。 搜索了半天T-SQL UrlDecode的函数&#xff0c;发现都不支持上面这种Unicode的。自己对T-SQL又不熟悉&#xff0c;时…

AngularJS2 + ASP.NET MVC项目

环境&#xff1a;VS2015&#xff0c; NodeJS:v 6.5, npm: v3.10, AngularJs 2 通过将ASP.NET MVC项目与Angualr 2官网上的quick start整合的过程中遇到些问题。 通过下面的若干配置最终向项目build成功。 转载于:https://www.cnblogs.com/1zhk/p/5831567.html

干货!仅有 100k 参数的高效显著性检测方法

作者 | 南开大学 程明明、依图科技 颜水成责编 | Carol封图 | CSDN 下载自视觉中国显著性目标检测模型通常需要花费大量的计算成本才能对每个像素进行精确的预测&#xff0c;因此这使得其几乎不适用于低功耗的设备。本文旨在通过提高网络计算效率来缓解计算花费与模型性能之间的…

如何将一个彩色图像转换成黑白图像

作者&#xff1a;未知彩色图像转换为黑白图像时需要计算图像中每像素有效的亮度值&#xff0c;通过匹配像素 亮度值可以轻松转换为黑白图像。 计算像素有效的亮度值可以使用下面的公式&#xff1a; Y0.3RED0.59GREEN0.11Blue 然后使用 Color.FromArgb(Y,Y,Y) 来把计算后的值…

修改Activity响应音量控制键修改的音频流

转自&#xff1a;http://rainhomepage.appspot.com/2010/05/hardware-volume-controls-audio-stream-setvolumecontrolstream 当开发多媒体应用或者游戏应用的时候&#xff0c;需要使用音量控制键来设置程序的音量大小。在Android系统中有多中音频流&#xff0c;通过Activity中…

css3选择器二

在HTML中&#xff0c;通过各种各样的属性可以给元素增加很多附加的信息&#xff0c;了解和掌握css3一些的选择器&#xff0c;是很有必要的。 :enabled 和 :disabled选择器表单元素有可用&#xff08;“:enabled”&#xff09;和不可用&#xff08;“:disabled”&#xff09;状态…

结合ashx来在DataGrid中显示从数据库中读出的图片

作者&#xff1a;木子 http://blog.csdn.net/derny/下面利用ashx文件可以方便实现从数据库中读取图片并显示在datagrid当中 //---------------------------------------BindImage.aspx ---------------------------------------- <% Page language"c#" Codebehi…

如何度过二十多岁这段又穷又迷茫的岁月?

我们在后台常常会收到读者的留言我马上毕业了&#xff0c;但是现在很迷茫&#xff0c;不知道学校里学的&#xff0c;能不能真正的适应工作...我工作两三年&#xff0c;还是不知道怎么规划自己的技术成长路线&#xff0c;不知道该学什么来提升自己的竞争力...人生需要长线的经营…