图片服务器的url hash架构
什么是urlhash架构
url hash架构对url进行一次hash算法，然后通过hash结果找到对应的服务器。因为针对单一个url的hash结果是一样的，所以理论上这个url会被永久分配到固定的一台服务器上。另外因为经过了hash算法，所以分配url就很均匀，同时访问量也可以达到均衡。
为什么要用urlhash架构
- 图片服务器的特点一是访问量很大，二是容量也很大，通过简单的负载均衡，可以解决访问量大的问题，但是容量的问题并没有改善。所以会造成容灾问题。
- 容灾问题：系统某个时间段被访问的数据严重超出缓存集群中最小单机的容纳容量就会造成容灾，容灾会使大量单一链接穿透，直接对后台的IO性能影响很大。
- 虽然可以通过增加缓存容量的配置来解决容灾问题，但是内存总是有限的，为每一台机器增加超大内存成本上也开销很大，另外在squid中也不宜配置很大的磁盘缓存，否则squid中的hash表会很大，性能很差。
- 通过hash架构，可以充分利用缓存集群的内存，容灾问题就不再取决于缓存集群中最小单机的容纳容量，而是缓存集群中所有机器的容纳容量之和。
各种urlhash架构
- 基于dns的hash架构
- 基于haproxy的自动hash架构
- 基于nginx的手动hash架构
基于dns的hash架构图
基于dns的hash架构说明
- 这个架构适合面向用户的图片系统，比如论坛、相册、博客中的图片上传。这样它才能够保证文件名有一致的规范。
- 这个架构图分了36个域名，图片文件名是用md5值起的，在md5值中取一位字母就可以表明它是在哪个域名里，域名就对应了机器，上传分发的时候也是根据此字母来分发。
基于dns的hash架构优缺点
优点
- 使用了dns分流，成本较低，而且dns性能高，不用维护。
- 可突破IE默认每主机2个线程的限制。
缺点
- 可用性方面，如果有一台机器宕机，则指向这台机器的请求无法读取。
- 分流方面，只能全部同步，成本较高
- 只适用于面向用户的系统
基于nginx的自动hash架构图
基于nginx的自动hash架构说明
- 这是一种新的缓存架构，由nginx作为最前端，代理到缓存机器。
- nginx后面是缓存组，由nginx经过url hash后将请求分到缓存机器。
- 这个架构方便纯squid缓存升级，可以在squid的机器上加装nginx。
- nginx有缓存的功能，可以将一些访问量特大的链接直接缓存在nginx上，就不用经过多一次代理的请求。比如favicon.ico和网站的logo。
基于nginx的自动hash架构优缺点
优点
- 高性能
- 使用方便，后台是什么样关系不大
- 有很高的可用性
- 缓存架构，分流方便
- 可直接在nginx代理缓存部分链接
缺点
- url分流可控性弱，增减缓存机器都会引起缓存重新分配，意味着缓存全部失效。
基于nginx的手动hash架构说明
- 这个架构图和自动hash的架构是一样的，唯一有差别的是hash算法的变化，自动hash是用nginx upstream hash模块自带的hash算法来实现分流，这个手动架构是自己设计一个算法来实现。
- 算法设计思路是从url中取一个字符来作分流依据，比如定义链接的倒数第10个字符来分流，同样可以分配得很均匀。
- 手动架构可以避免自动架构中增减机器带来的缓存失效问题，另外可以精确知道一个链接到底存在哪台缓存上。
基于nginx的手动hash架构优缺点
优点
- 基本可以继承自动架构的优点
- 避免增减机器的问题
- 精确知道链接存储在哪台缓存上
缺点
- 配置较复杂，要分配均匀配置不易。
采用Hash架构对bbs架构优化
- 先前讲的bbs架构采用的是lvs+squid作为前端，这样的话squidclient更新缓存时需要更新所有的squid，这个效率很低下，使用hash架构就可以使squidclient每次只需要清理一台squid，效率大为提升。
- 推荐的是使用nginx手动hash架构，它可以精确知道链接会存在哪台机器上，这样就可以配置精确的备份机器。
相关文章：
Android系统--TouchEvent的处理流程
TouchEvent的处理流程就是TouchEvent在View树中的传递的过程：这个过程分为2步：第一步，ACTION_DOWN在View树中寻找处理TouchEvent的View;第二步，剩余的ACTION_XXX在View树传递给目标View; 第一步，ACTION_DOWN在View树中…
搜索引擎中的URL散列
散列（hash）也就是哈希，是信息存储和查询所用的一项基本技术。在搜索引擎中网络爬虫在抓取网页时为了对网页进行有效地排重必须对URL进行散列，这样才能快速地排除已经抓取过的网页。最理想的状态是对联网上所有的网页都分配一个哈希…
c++各种数据类型表示范围
符号属性 长度属性 基本型 所占位数 取值范围 输入符举例 输出符举例 -- -- char 8 -2^7 ~ 2^7-1 %c %c、%d、%usigned -- char 8 -2^7 ~ 2^7-1 %c …
原来Python用得好，工作这么好找
Python是多数平台上写脚本和快速开发应用的编程语言，适用场景非常广，Web开发、大数据分析、机器学习、自动化运维/测试，甚至日常工作中的各种各样的问题都能用Python来解决。Python不仅可以批量处理上百个Excel、Word、PDF文件，工…
Litmus代码质量平台实践总结
背景代码质量在项目开发中是一个很重要的地方，更好的质量的代码，能够产生更少的bug，也能使开发人员更不容易犯错，产品的质量得到提升。那么怎么定义代码质量，怎么测量以及如何展现就成为我们内部平台Litmus的主要探索领…
到底什么是hash？它起什么作用？
从emule诞生到现在也已经有了两年左右时间了，随着emule的普及，喜欢他的人也越来越多，但是由于emule对技术相应有一个门槛，不像bt那么容易上手，所以很多朋友很长时间以来一直都有这样或那样的疑问，今天是周末…
20个精美图表，教你玩转 Pyecharts 可视化
作者 |俊欣来源 |关于数据分析与可视化本篇文章我们将继续聚焦c模块并且用它来绘制精美的图表，希望读者在看完之后会有不少收获01内嵌饼状图内接一个环状的饼图，里面还有一个饼状的图(Pie().add(series_name"访问来源",data_pair[list(z) for …
【SICP练习】136 练习3.67
练习3-67 原文 Exercise 3.67. Modify the pairs procedure so that (pairs integers integers) will produce the stream of all pairs of integers (i,j) (without the condition i < j). Hint: You will need to mix in an additional stream. 代码 (define (all-pairs s…
glibc方式安装mysql
下载安装包 mysql-5.6.38-linux-glibc2.12-x86_64.tar.gz创建mysql用户useradd -r mysql -s /sbin/nologin解压文件tar -zxvf mysql-5.6.38-linux-glibc2.12-x86_64.tar.gz -C /opt/改名mv /opt/mysql-5.6.38-linux-glibc2.12-x86_64/ /opt/mysql-5.6创建数据目录mkdir /data更…
淘宝网7年变化图--建议非美工UED人员也看看
从2003年开始，这么几年间淘宝网首页截图，UED美工和开发人员都可以看看。图片来自www.infoq.com网站 的PPT
Github 一夜爆火：这份金九银十 Java 面试手册我给跪了
这几天给筒子们整理了一份《Java面试手册》，106页，目前大约6万字左右，初衷也很简单，就是希望在面试的时候能够帮助到大家，减轻大家的负担和节省时间。废话不多说，本手册目前为第一版，后续慢慢也…
a different object with the same identifier value was already associated with the session
当出现a different object with the same identifier value was already associated with the session时，一般是因为在hibernate中同一个session里面有了两个相同标识但是是不同实体。 我直接将接受需要比较的id的list<ab>换成了list<object[]>,再直接将…
【转】unity3d 在UGUI中制作自适应调整大小的滚动布局控件
转自 http://blog.csdn.net/rcfalcon/article/details/43459387 在游戏中，我们很多地方需要用到scroll content的概念：我们需要一个容器，能够指定布局方式（比如横排排列、竖排排列、网格排列）等。然后我们向其中填充内…
（转）径向模糊效果shader
转自：http://blog.csdn.net/xoyojank/article/details/5146297 最先在这里看到:http://www.gamerendering.com/2008/12/20/radial-blur-filter/ 这效果在鬼泣4中切换场景时见过, 极品飞车12的运动模糊也有这种感觉. 原理: 确定一个中心点(如0.5, 0.5), 跟当前像素连…
初次体验hiphop-php
facebook在github上发布了hiphop-php的源代码。之前听说这玩意能把php代码翻译成c代码，然后带来巨大的性能提升，所以第一时间编译了一份hiphop-php。 我的机器环境是 Centos 5.3 x86_648G内存Intel(R) Xeon(R) CPU E5420 2.50GHz 安装注意事项 编译…
MySQL之父等国际数据库掌门人齐聚，1024 程序员节全体大会重磅官宣！
10月23-24日，由CSDN、长沙市政府及多家机构联合主办的第二届“长沙中国1024程序员节”（1024.csdn.net）将盛大举行。今年程序员节活动囊括：岳麓书院尖峰对话，2021技术英雄会，9场热门技术主题论坛/专场、第16…
通过yum安装配置lamp
1、安装httpdyum install httpd创建测试文件cd /var/www/htmlvim index.php加入以下内容<html><head><title>PHP Page</title></head><body><h1>PHP start</h1> <?phpphpinfo(); ?><h1>PHP end</h1> <…
PHP“Cannot use object of type stdClass as array”
php再调用json_decode从字符串对象生成json对象时，如果使用[]操作符取数据，会得到下面的错误错误：Cannot use object of type stdClass as array产生原因：展开 -PHP$res json_decode($res);$res[key]; //把 json_decode() 后的对…
RMAN_学习笔记1_RMAN Structure概述和体系结构
2014-12-23 Created By BaoXinjian 一、摘要 是一种用于集备份(backup)、还原(restore)和恢复(recover)数据库于一体的Oracle 工具，支持命令行及图形界面操作 能够备份整个数据库、表空间、数据文件、控制文件、归档文件以及Spfile参数文件。 支持增量数据块级别的备…
全球缺芯大潮中，以软代硬能否另辟蹊径？
在5G和人工智能的技术浪潮如约而至以后，业内人士无不对IoT产业的未来报以极大的期待。以人工智能和家居设备为基础，再加上算力与网络支持，有理由相信未来IoT相关产业必将迎来爆发。然而今年，席卷全球的芯片产能不足问题影响到了各…
Xtrabackup实现数据的备份与恢复
Xtrabackup介绍Xtrabackup是由percona开源的免费数据库热备份软件，它能对InnoDB数据库和XtraDB存储引擎的数据库非阻塞地备份（对于MyISAM的备份同样需要加表锁）；mysqldump备份方式是采用的逻辑备份，其最大的缺陷是备份…
最简单的CI框架入门示例--数据库取数据
这个写给初学者看，这是最简单可以调通的例子，网上很多例子其实初学者本地跑不通，缺这少那。 1.下载CI框架（自己找）2.配置 database.php配置： 为数据库服务器设置 connection 参数： $db[defau…
ST-GCN 实现人体姿态行为分类
作者 | 李秋键 出品 | AI科技大本营（ID:rgznai100） 引用 人体行为识别是计算机视觉及机器学习方面的热门研究领域。它在对视频中的人类行为进行运动分析、行为识别乃至延伸至人机交互领域都有着非常广泛的应用。研究初期，人体行为识别主要是以…
【原创】Kakfa utils源代码分析(三)
Kafka utils包最后一篇~~~ 十五、ShutdownableThread.scala可关闭的线程抽象类！ 继承自Thread同时还接收一个boolean变量isInterruptible表明是否允许中断。既然是可关闭的，因此一定不是守护线程，而是一个用户线程(不会阻塞JVM关闭)。提供的方…
Oracle的分页查询
为什么80%的码农都做不了架构师？>>> 因为Oracle不像MySQL一样有limit函数来实现分页查找，oracle要实现分页查询可使用关键字rownum来处理。使用rownum有以下几点需要注意： 1、ROWNUM存在使用规则，在单个子查询中&…
微软成功抵御峰值高达 2.4Tbps 的 DDoS 攻击
整理 | 祝涛 出品 | CSDN（ID：CSDNnews）微软表示，他们成功抵御了一场发生于8月份的2.4Tbps分布式拒绝服务（DDoS）攻击，这次攻击超过了去年针对亚马逊Web服务的2.3Tbps最大攻击。这场攻击持续…
百度吴甜：首席AI架构师培养计划持续为行业输送高端复合型AI人才
CSDN 导语： 随着 AI 技术的发展，关注 AI 的开发者与日俱增：据 CSDN 发布的《中国 AI 应用开发者报告》显示，在 CSDN 的注册开发者中，689 万开发者有阅读、撰写和研究 AI 技术行为，其中精准聚焦 AI 学习和应…
Htaccess文件是什么以及Windows下自由创建.htaccess文件的N种方法
.htaccess是什么 概述来说，htaccess文件是Apache服务器中的一个配置文件，它负责相关目录下的网页配置。 通过htaccess文件，可以帮我们实现：网页301重定向、自定义404错误页面、改变文件扩展名、允许/阻止特定的用户或者目录的访…
Linux grep,egrep及相应的正则表达式用法详解
linux在进行文本处理过程中的文本搜索工具称为正则表达式。文本搜索工具有grep、egrep、fgrep,egrep为正则表达式的扩展正则表达式，fgrep用于搜索文本字符串，与 grep 和 egrep 命令不同，因为它搜索字符串而不是搜索匹配表达式的模式。grep的含…
Java GC 日志解析
JVM 在Java应用程序优化中是不可缺少的一大重项，如何合理配置Java参数，如果验证配置参数的有效性，从GC日志中可以获得很重要的提示，以下是笔者对GC垃圾收集器默认开启的组合日志的部分的解析，希望能帮到想学习的同学O(…