当前位置: 首页 > 编程日记 > 正文

秋色园QBlog技术原理解析:性能优化篇:用户和文章计数器方案(十七)

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

上节概要:

上节 秋色园QBlog技术原理解析:性能优化篇:access的并发极限及分库分散并发方案(十六)  中,

介绍了 Access的并发上限,及从某种程度上 秋色园QBlog 针对并发上限进行了多个数据的划分,从而最大并发上限从64提升到64*N(个数据库),虽然总和的最大并发值是上升了,但是单个库的最大值并没有变化,或者说单个表的最大并发值没有发生变化,上限仍是64。

于是,对于频繁产生更新操作的访问计数器(用户表及文章表),是该进入优化的方案了。

本节概要:

本节将介绍秋色园 QBlog  的在用户和文章计数器上的优化方案。

节内容:

秋色园QBlog 原来的访问计数器策略:

1:获取缓存的计数器数数字。[用户取值缓存,文章取值页面上的数字]

2:根据Session或Cookie对每个用户在某时间段间只计一次访问的判断。

3:在获取的数字上,进行内存计数+1。

4:概率性直接更新到用户表和文章表中。

这种方案,会否产生黄金4K的ldb问题,取决于访问量和概率性问题,概率值设置的越低,越安全,但是如果内存回收很频繁,丢失数字也常见。

色园QBlog 新的访问计数器优化策略:

1:仍旧保留内存计数器+1的方式。

2:概率性更新,变成统一内置线程定时更新。

这样处理,原来概率性可能产生的并发更新问题,现在变成1个链接在更新,有效的减少黄金4K的问题。

3:为了减少丢失的概率,新开了数据库(qblogvisit.mdb)及数据表:

新开有两个表:Blog_UserVisit和Blog_ContentHit。

新开表的字段:ID和Hits

这个新库的两个表,加大了更新的频率,用于物理保存用户或文章的计数器,避免内存数字丢失的概率,当内存数字丢失时,先从这新表中取出原始数字,再进行+1,有效的减少数字丢失的问题。

PS:内置线程:是一件比较危险的事情,会产生比较想象还多的问题,需要全方位的处理可能产生的:并发,(应用程序池回收时)产生多个线程,异常等问题。

开启内置线程的代码:

静态页面动态显示计数器数字

首先:秋色园QBlog 的页面多数是静态化的*.html,可是你会发现文章的计数器,无论是首页,列表,还是文章页,都是变化的,如何将静态化的数字,动态的变化显示?

用js异步?no..秋色园QBlog整站是无js的,如果有js,应该会是另一种实现方式。

然后:由于URLRewrite遇到请求时并非直接转向*.html,而是全转向*.ashx,再加载*.html方式,使的后台程序可以对静态化的html进行二次处理。

其实:如果你看过本系列的文章,应该会发现一个:Page_OnCache的生命周期,就是在这里动的手脚。

因此:只要获取列表上的数字,然后再从内存中寻找有没有相应的数字,有则更新。

结果:这样访问计数器的数字就是动态时时显示了。

显示动态数字的代码:

总结

本节通过将频繁产生数据库交互动作的计数器部分,变成单线程的更新,有效的解决了黄金4K问题。

同时为了减少数字丢失的概率,增加了新的数据库来物理存储文章的数字,但是不改变原有表的结构。

结果:在计数器这块,目前问题算是解决了。

但是,黄金4K的问题,并没有结束,因为,除了写操作,更多的是读取操作。

正如上节所说:

CYQ.Data 用Lock锁住插入/更新/删除,这些步骤,使的同一时间只出现一个链接打开。

但是,通过上节的示例,发现了,读取,也是要打开链接的。

因此,优化仍没有止步,本系列仍在继续,请继续关注。

历史文章回顾:

1: 秋色园QBlog技术原理解析:开篇:整体认识(一) --介绍整体文件夹和文件的作用

2: 秋色园QBlog技术原理解析:认识整站处理流程(二) --介绍秋色园业务处理流程

3: 秋色园QBlog技术原理解析:UrlRewrite之无后缀URL原理(三) --介绍如何实现无后缀URL

4: 秋色园QBlog技术原理解析:UrlRewrite之URL重定向体系(四) --介绍URL如何定位到处理程序

5: 秋色园QBlog技术原理解析:Module之页面基类设计(五) --介绍创建基类和自定义生命周期

6: 秋色园QBlog技术原理解析:Module之页面基类-生命周期流程(六) --介绍基类生命周期内部业务

7: 秋色园QBlog技术原理解析:Module之基类生命周期-页面加载(七) --介绍界面html加载原理

8: 秋色园QBlog技术原理解析:Web之页面处理-内容填充(八) --介绍html的内容是如何填充

9: 秋色园QBlog技术原理解析:独创的多语言翻译机制(九) --介绍html多语言翻译原理

10:秋色园QBlog技术原理解析:页面内容填充及多语言翻译流程演示示例(十) --总结演示示例代码

11:秋色园QBlog技术原理解析:页面Post提交机制(十一) --介绍如果Post提交数据

12:秋色园QBlog技术原理解析:性能优化篇:字节与缓存与并发(十二) --介绍性能优化:字节,并发及缓存

13:秋色园QBlog技术原理解析:性能优化篇:全局的SQL语句优化(十三) --介绍全局掌握SQL,进行针对性优化

14 :秋色园QBlog技术原理解析:性能优化篇:缓存总有失效时,构造持续的缓存方案(十四) --介绍二次缓存方案

15:秋色园QBlog技术原理解析:性能优化篇:数据库文章表分表及分库减压方案(十五)  --介绍内容分库减压

16:秋色园QBlog技术原理解析:性能优化篇:access的并发极限及分库分散并发方案(十六) --介绍access并发上限

附章:

1:秋色园QBlog技术原理解析:博客一键安装工具技术实现[附源码下载] --开源秋色园安装工具原理

2:如何安装部署秋色园CYQBlog站点

3:Windows7下如何安装部署秋色园CYQBlog站点

PS:秋色园QBlog下载地址:http://www.cyqdata.com/download/article-detail-427

转载于:https://my.oschina.net/secyaher/blog/274040

相关文章:

ldconfig

为了让动态链接库为系统所共享,还需运行动态链接库的管理命令--ldconfigldconfig 命令的用途,主要是在默认搜寻目录(/lib和/usr/lib)以及动态库配置文件/etc/ld.so.conf内所列的目录下,搜索出可共享的动态 链接库(格式如前介绍,lib*.so*),进而创建出动态装入程序(ld.so)所需的连…

MySQL宽字节注入漏洞分析_宽字节注入

概念单字节字符集: 所有的字符都使用一个字节来表示,比如 ASCII 编码。多字节字符集: 在多字节字符集中,一部分字节用多个字节来表示,另一部分(可能没有)用单个字节来表示。两位的多字节字符有一个前导字节和尾字节。 …

objc runtime 动态增加属性

objective-c中,有类别可以在不修改源码的基础上增加方法 使用运行时库,必须要先引入 objc/runtime.h 可以使用的函数如下: OBJC_EXPORT void objc_setAssociatedObject(id object, const void *key, id value, objc_AssociationPolicy policy…

C#合并两张表结构相同(列数和列类型都相同)的表

DataTable appendDataTablenew DataTable(); 这个合并的大前提是两张表的结构相同且列的类型也必须相同 否则在赋值时就会出现异常。 for (int i 0; i < hostDt.Columns.Count;i ) { appendDataTable.Columns.Add(hostDt.Columns[i].ColumnName,hostDt.Columns[i].DataType…

erlang调优方法

2019独角兽企业重金招聘Python工程师标准>>> 1. 来自Scaling Erlang的方法 内核调优&#xff1a; # Increase the ipv4 port range: sysctl -w net.ipv4.ip_local_port_range"1024 65535" # General gigabit tuning: sysctl -w net.core.rmem_max16777…

mysql第四章_MySQL必知必会--第二章~第四章--MySQL简介

1.DBMS可分为两类:一类为基于共享文件系统的DBMS&#xff0c;另一类为基于客户机—服务器的DBMS。服务器部分是 负责所有数据访问和处理的一个软件。这个软件运行在称为数据库服务 器的计算机上。2.MySQL Administrator(MySQL管理器)是一个图形交互客户机&#xff0c;用 来简化…

Windows Phone 7编程学习点滴一——页面切换、返回键重载和工具栏

1. 页面切换和对齐方式 2 &#xff08;1&#xff09;XAML实现方式 <HyperlinkButton Content"TestPage1" NavigateUri"/TestPage1.xaml" Height"30" HorizontalAlignment"Left" Margin"10,10,0,0" Name"TestPage1Li…

call_user_func用法

1 //有一些函数&#xff0c;名字未知2 //名字在运行状态时&#xff0c;才知道3 4 //例如a(),b(),c()调用哪一个5 // ->index(),reg()?又调用哪一个6 7 function t(){8 echo hello;9 } 10 11 function s(){ 12 echo world; 13 } 14 15 $at; 16 //$a(); 17 18 //在…

构建现代化的命令行工具

文章源于 lambdas.dev 每当我们想要创建一个基于 NodeJS 的命令行工具时&#xff0c;就会衍生出一堆问题需要解决&#xff0c;比如如何准备开发环境&#xff0c;如何打包转译代码&#xff0c;如何使代码在转译后保持可调用的状态同时尽可能的压缩体积&#xff0c; 以及怎样设计…

Java怎么定义图片公共路径_【Java】springboot配置图片访问路径

springboot如何配置&#xff0c;就可以在地址栏输入http://localhost:9090/17AD93E86EB44287BA0D871A37017597.jpg就可以访问到图片回答需要添加下Springboot访问静态资源的Jar文件org.springframework.bootspring-boot-starter-thymeleaf直接去掉这两个配置就行&#xff0c;自…

PHP——文件操作

自己写的&#xff1a; <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns"http://www.w3.org/1999/xhtml"> <head> <meta http-e…

linux基础—课堂随笔010_系统启动和内核管理

系统启动和内核管理 Linux: kernelrootfs kernel: 进程管理、内存管理、网络管理、驱动程序、文件系统、安全功能 rootfs:程序和glibc 库&#xff1a;函数集合, function, 调用接口&#xff08;头文件负责描述&#xff09; 程序&#xff1a;二进制执行文件 内核设计流派&…

微软技术的变迁

这个课题很大&#xff0c;我只是站在一个普通人的视角上写一下。 微软的看家技术是什么&#xff1f;vb&#xff01;先有basic&#xff0c;再有操作系统&#xff0c;dos发展到windows&#xff0c;vb一直发展着。然而到达vb6之后&#xff0c;微软转型设计.net 。.net 是什么&…

java initcause_Java 异常

问&#xff1a;java 异常有哪几种&#xff0c;特点是什么&#xff1f;答&#xff1a;异常是发生在程序执行过程中阻碍程序正常执行的错误操作&#xff0c;只要在 Java 语句执行中产生异常&#xff0c;则一个异常对象就会被创建。Throwable 是所有异常的父类&#xff0c;它有两个…

UICollectionView之网络图片解析

1&#xff1a;将SDWebImage文件夹的类库导入工程&#xff0c;创建一个模型对象Model类&#xff0c;并声明好它的属性&#xff0c;再创建一个继承自UICollectionViewCell的自定义类 2&#xff1a;在自定义cell类中重写 - (instancetype)initWithFrame:(CGRect)frame { self [su…

一个中国人看了爽的笑话

某国人好战。古时几乎所有的少壮男丁都被征召去当兵打仗&#xff0c;根本没有时间结婚生子&#xff0c;所以人丁越来越少.当时一个国主就出了一个国策&#xff0c;让所有的男人不论何时何地&#xff0c;都可以随便跟任何女人发生关系&#xff0c;来保持人口的出生率.所以在休战…

Spring Cloud整合Redis

2019独角兽企业重金招聘Python工程师标准>>> 项目需要使用Redis来做缓存&#xff0c;研究了一下如何将其与Spring Boot整合。网上的demo要么就是太过于庞大&#xff0c;要么就是版本过于陈旧&#xff0c;配置时候会有各种坑。因此自己在踩过了各种坑之后&#xff0c…

java case or_java – 在CriteriaBuilder中使用子句和’case w...

我想使用CriteriaBuilder构建下面显示的having子句&#xff1a;select objectid,sum(case when attr_meta severity then 1 else 0 end) as severity,sum(case when attr_meta priority then 1 else 0 end) as priorityfrom object dgroup by objectidhaving sum(case when a…

7 个 jQuery 最佳实践

背景 在这篇文章中&#xff0c;我会给大家介绍在编写、调试和审查JavaScript代码的时候一些好的实践&#xff08;至少我是这么认为的&#xff09;。事实上&#xff0c;我选择了其中7个最常见的场景。 1、使用CDN及其回退地址&#xff08;fallback&#xff09; CDN代表内容传递网…

关于一些Linux SVN的安装使用

关于一些Linux SVN的安装使用 SVN简介The goal of the Subversion project is to build a version control system that is a compelling replacement for CVS in the open source community. The software is released under an Apache/BSD-style open source license.SVN是一…

【转】触屏手机电话拨打链接

1、web方式&#xff1a; <a href"tel:4008006666">电话&#xff1a;4008006666</a> 2、wap方式&#xff08;主要hack QQ和UC浏览器&#xff09; <a href"wtai://wp/mc;4008006666">电话&#xff1a;4008006666</a>转载于:https://…

java redis 主从 哨兵_Redis主从复制与哨兵机制

Redis主从复制1、redis的复制功能是支持多个数据库之间的数据同步。一类是主数据库(master)一类是从数据库(slave)&#xff0c;主数据库可以进行读写操作&#xff0c;当发生写操作的时候自动将数据同步到从数据库&#xff0c;而从数据库一般是只读的&#xff0c;并接收主数据库…

不同变量的区别

1、形参、局部变量以及局部静态变量的区别。 形参和局部变量均属于自动对象&#xff0c;当到达定义所在的块末尾时被销毁&#xff1b;而局部静态变量自定义开始&#xff0c;直到程序结束才被销毁。 2、全局变量和静态全局变量的区别。 全局变量本身就是静态存储方式&#xff0c…

Java 使用 Redis

2019独角兽企业重金招聘Python工程师标准>>> 安装 开始在 Java 中使用 Redis 前&#xff0c; 我们需要确保已经安装了 redis 服务及 Java redis 驱动&#xff0c;且你的机器上能正常使用 Java。 Java的安装配置可以参考我们的 Java开发环境配置 接下来让我们安装 Ja…

IPMSM弱磁控制策略

下面将详细介绍这种控制策略的实现过程:(l)具有快速动态响应的前馈弱磁控制策略电动汽车用永磁电动机驱动系统应具有较快的转速响应速度&#xff0c;而传统的的弱磁控制策略通常是先根据电机转速的变化调整交轴电流iq&#xff0c;而后根据转速给定值计算得出直轴电流id这种方法…

java 并发统计_java并发编程|CountDownLatch计数器

0x01,CountDownLatch介绍CountDownLatch是一个计数器&#xff0c;作为java并发编程中三个组件之一&#xff0c;这个组件的使用频率还是很多的。这里分享下自己画的java并发编程组件的图&#xff0c;后面一一介绍这几个组件的使用。上面图片标注的1,2,3分别是自己觉得重要性的&a…

MySQL查询随机数据的4种方法和性能对比

从MySQL随机选取数据也是我们最常用的一种发发&#xff0c;其最简单的办法就是使用”ORDER BY RAND()”,本文介绍了包括ORDER BY RAND()的4种获取随机数据的方法&#xff0c;并分析了各自的优缺点。下面从以下四种方案分析各自的优缺点。方案一&#xff1a; 复制代码 代码如下:…

【转】CPU位数、核数、个数

转自&#xff1a;http://blog.chinaunix.net/uid-20344928-id-2985712.html 32 or 64 linux下查看操作CPU的运行位数&#xff1a; getconf LONG_BIT 如结果是32&#xff0c;表示当前CPU工作在32位模式下&#xff08;即操作系统是32位的&#xff09;&#xff0c;但并不表示CPU一…

JPA常用注解

2019独角兽企业重金招聘Python工程师标准>>> JPA全称Java Persistence API.JPA通过JDK 5.0注解或XML描述对象&#xff0d;关系表的映射关系&#xff0c;并将运行期的实体对象持久化到数据库中。 JPA由EJB 3.0软件专家组开发&#xff0c;作为JSR-220实现的一…

php pthread 实例,php 真正的多线程 pthread

对于php&#xff0c;有很多种多进程的实现&#xff0c;这里就不说了&#xff0c;下面介绍一种多线程的方式。php真正的多线程实现方式&#xff0c;通过安装php的扩展&#xff1a;pthread 扩展安装步骤如下&#xff1a;1.下载地址是这个&#xff1a;但是这个下载的是 版本3 也就…