LAMP 关键数据集锦技术选项参考
LAMP 关键数据集锦技术选项参考
源自日积月累自己的其他人的经验总结
负载均衡
LVS
工作在四层，内核态，性能极高，有VIP功能，配合 keepalived 做有效的 心跳检查和负载均衡安装配置麻烦，
HAProxy
工作在四层到七层，功能强大，有VIP功能，配置简单，CPU占用高
Nginx
工作在七层，应用层功能多，配置简单，无法支持VIP功能
负载均衡器测试数据
软件 每秒并发量 CPU占用 结论
LVS (DR模式) 1.6W25%性能综合比最好，配置复杂
HAProxy 2.3W 95% 转发快，CPU占用高，配置简单
Nginx2W 80% 转发没有haproxy快，CPU比haproxy占用低
机器足够并且应用重要建议独立使用LVS或HAProxy，机器不足使用 Nginx
========================================
反向代理
1.varnish在高负载下以CPU和内存为代价,比squid 2.6提高8%,但是绝非10倍~20倍.
2.squid 3.0的性能比2.6更低.而非更高.相反,3.0是最不稳定以及性能最差的.
3.squid 2.7的性能比2.6低,但是CPU和内存占用率控制的更好.
nginx+远程cache处理能力是2万次/秒；varnish在大部分本地cache命中情况下处理能力是3万次/秒；
========================================
HTTP Server
Apache
2.2版本非常稳定强大
Preworker模式取消了进程创建开销，性能很高
Nginx
基于异步IO模型，性能强悍，能够支持数万并发
对小文件支持很好，性能很高
代码优美，扩展库必须编译进主程序
Lighttpd
基于异步IO模型，性能Nginx没有差别
扩展库是SO模式，比Nginx要灵活
全球使用率比以前低，安全性没有上面两个好
Web服务器静态内容测试数据
处理静态文件Apache 性能比 nginx和lighttpd要差
Nginx在处理小文件优势明显
Web服务器动态内容测试数据
处理动态内容三者相差不大(测试环境差异)，主要是取决于PHP和数据库的处理性能
=========================================
PHP
版本选择
PHP 4：马上抛弃它吧，低下的性能，不完整的面向对象支持
PHP 5.2.x：成熟稳定，各种扩展都支持，性能卓越，建议使用
PHP 5.3.x：有一些包括Unicode、命名空间之类的新功能，看个人喜好
工作模式选择
Mod_php5.so：如果使用Apache的话，简单配置，可以使用本模式，挺稳定，性能不错
FastCGI模式：推荐结合 php-fpm 的 fastcgi模式，性能很高，工作稳定，而且可以跟 Apache、Nginx、Lighttpd 完美结合
其他
注意安全配置，注意 safe_mode、open_base_dir 等选项
停掉不需要使用的PHP扩展
大部分的消耗在文件引用上(include/require)
SQL语句不要放在for循环里面执行，最好能用group by之类解决，或者合并写入
出了问题再profile你的PHP代码
通过auto loading 实现lazy loading
相比较运行速度，更需要注意memory limit，尤其是一些shell处理脚本
影响不大的性能优化
不要用array_key_exists，用isset来判断键值是否在数组中
如有可能，采用static静态方法
避免使用__set, __get等魔术方法 set是get 3倍速度
使用echo代替print()
使用include、require代替include_once、require_once
@操作符是邪恶的
不要把count/strlen/sizeof 放到for 循环的条件语句中
……
通过set_error_handler来捕获线上运行错误，统一收集日志、报警
通过register_shutdown_function来捕获fatal errors、记录运行时间
=============================
MySQL
MyISAM与Innodb
MyISAM的读性能是比Innodb强
MyISAM的索引和数据是分开的，并且索引是有压缩的
Innodb是索引和数据是紧密捆绑的，没有使用压缩从而会造成Innodb比MyISAM体积庞大不小
innodb不信任操作系统
MyISAM不支持外键 Innodb支持
MyISAM不支持事务 Innodb支持
MyISAM只支持表所 Innodb支持行锁
对数据信息的存储方式不同，MyISAM创建一张表对应3个文件，Innodb则只有一个文件.frm，数据存储在ibdata1
复制自己insert into tt select * from tt
MyISAM：表级锁、查询快(500W)，可以count
Innodb：行级锁、事务支持（隔离级别），不要count，要设置主键
重要的配置：
Max_connections、Query_cache、key_buffer、sort_buffer
Innodb_buffer_pool_size、 innodb_flush_log_at_trx_commit
--------------------------
恢复
不小心update一个表where写的范围不对，导致这个表没法正常用了，这个时候MyISAM的优越性就体现出来了，随便从当天拷贝的压缩包取出对应表的文件，随便放到一个数据库目录下，然后dump成sql再导回到主库，并把对应的binlog补上。如果是Innodb，恐怕不可能有这么快速度
--------------------------
锁表
select count(*) 和order by 是最频繁的，大概能占了整个sql总语句的60%以上的操作，而这种操作Innodb其实也是会锁表的，很多人以为Innodb是行级锁，那个只是where对它主键是有效，非主键的都会锁全表的。
-------------------------
大小
保证数据库单个实例尽量不要超过150G。
受文件系统操作限制，文件数过大需要更多文件句柄，且大目录 操作造成复制、压缩、备份效率低。
- 打开表占用数据库资源（table_cache）
√ 建议一个库不应超过300-400个表
√ 建议一般带char字段的表不应超过500万rows.基于数字的字段为主的表不要超过1000万rows.
切分尽量多的小实例，一个机器跑7-8个实例，平常load avg不超过1-2，峰值不超过6-7为合理。
-------------------------
主从
通过分多个主库,便于未来可扩展
通过使用replicate_do_db(table)来解决从库追主库延迟时间较长的问题由于mysql的从库只能单进程追，而通过上述方式，就能形成多进程追不同库来减少延迟，缺点是管理成本会很大。
---------------------------
多IDC
通过多IDC提升数据库平台99.999%稳定性
---------------------------
分表
按时间(财经)
按ID号hash分(统一通行证)
按业务项目(通用投票)
对数据进行Sharding：分表，分库
垂直切分：按照业务或产品切分
水平切分：按照数据拆分，比如mod或div
-----------------------------
merge引擎
提升代码开发速度
1.
比如有些项目，需要定期存用户离线消息，可以采取程序只访问对应的merge表，然后merge表对应7个子表(比如周一到周日)。
2.
比如统计项目，可能分表策略是每个月一个表，然后要做如一季度，二季度的统计，为
了方便开发，可以采取程序只访问对应merge表，然后自由结合1234，N表作为merge表的子表。
---------------------------
索引
注:一般临晨2-3点时候是大部分项目访问的低谷。
索引优化，选择实验
稳妥地改进
将需要优化的相关表复制到测试环境
在测试环境启动一个测试daemon，关闭query cache或是使用select SQL_NO_CACHE 方式。
未优化时测试若干次查询时间，以及explain检查扫描集。
选择合适的索引试验建立。可以通过use index(xx)来强制使用。检查是否有效。
测试查询时间变化，反复试验得到最优结果
保持关注，根据情况随时改变索引设置
采取从库不同索引的模式来提升性能
比如有些项目，有很多不同的排序需求，需
要建立很多索引，但是如果都加必然导致性
能下降，所以采取不同功能使用对应索引的
从库来解决。
Oracle索引使用原则：
大表上建索引才有意义；
在where子句或是连接条件上经常引用的列上建索引；
索引层次不要超过4层；
很少或不引用的字段不宜使用索引；
逻辑性的字段，如男女，是否等不宜使用索引。
Oracle缺点分析：
建立索引，系统要占用大约是表的1.2倍的硬盘和内存空间来保存索引；
更新数据的时候，系统必须要有额外的时间来同时对索引更新，以维持数据和索引的一致性
-------------------------------------
查询
尽量减少查询
可以缓存的就不要查数据库
部分数据可以借助比如 Shpinx解决，检索需求
要注意的查询
给需要的字段加上索引，比如需要 WHERE 或者 ORDER BY 的字段
不要LIKE ‘%key%’，不使用索引，可以 LIKE ‘key%’
如果可以，少使用 SELECT * FROM XX，尽量查询自己需要的字段
避免使用 JOIN/GROUP BY/DISTINCK
INNODB表不要count
-------------------------------------
排序
比如通过设定阀值500次才往数据库做一次写操作，或是间隔30分钟往数据库写一次。
SSD > SAS > SCSI，随机存取
内存越大越好，多核CPU
mysql>select @@profiling;
mysql>set profiling=1; //打开
执行需要测试的sql 语句：
通过指定的Query_ID 来查询指定的sql语句的执行信息：
mysql> show profile for query 1;
测试完毕以后 ，关闭参数： mysql> set profiling=0
数据库连接池
性能不是太好，目前功能不完善
无法进行读写分离，需要自己写Lua脚本实现
SQL Relay
业内普遍反映不好用
===================================================
InnoDB还是MyISAM 再谈MySQL存储引擎的选择
http://database.51cto.com/art/200905/124370.htm
邵
http://wenku.baidu.com/view/1a6ebe717fd5360cba1adbca.html
Centos5.6下MySQL Proxy0.8.2的安装及测试
http://database.51cto.com/art/201203/324475.htm
=====================
NoSQL
Ttserver-2G(32bit)
MongoDB-2.5(32bit)
MongoDB
文档数据库，介于 Key->Value 数据库和关系数据库之间
无存储引擎，高写入性能，内存越大，性能越好
AutoSharding、主从复制
操作简单，会JavaScript就会操作MongoDB
发展中，业内有应用，百度(商业产品)、淘宝（监控中心）、视觉中国
缺点：
最大单记录 16M
比较浪费磁盘：4亿 数据 500G磁盘
Redis
可持久化的缓存服务
纯粹Key ->Value结构，存储数据类型丰富：String/List/Set
可以持久化，可以主从同步
缺点：
主从同步拷贝整个镜像文件
内存大小限制了能存储最大持久化文件大小
Memcached
32位机上开辟内存不要超过2G，建议可以多开几个进程
如果没有富余的机器可以跟Web一起部署
它单个数据值长度不能超过1M
数据存储最长有效期是30天
===================
参考：http://blog.csdn.net/heiyeshuwu 等人
相关文章：
centos7 设置中文
查看系统版本[rootwebtest76 ~]# cat /etc/redhat-releaseCentOS Linux release 7.0.1406 (Core) [rootlocalhost ~]# cat /etc/locale.conf LANGen_US.UTF-8[rootlocalhost ~]# cp /etc/locale.conf /etc/locale.conf_bak[rootlocalhost ~]# vim /etc/locale.conf # 修改后原英…
Python最常用的函数、基础语句有哪些？
作者 | 朱卫军来源 | Python大数据分析Python有很多好用的函数和模块，这里给大家整理下我常用的一些方法及语句。一、内置函数内置函数是python自带的函数方法，拿来就可以用，比方说zip、filter、isinstance等。下面是Python官档给出的内置函数…
1.5s~0.02s，期间我们可以做些什么？
原文是在我自己博客中，小伙伴也可以点阅读原文进行跳转查看，还有好听的背景音乐噢背景音乐已取消~ 2333333大爷我就算功能重做，模块重构，我也不做优化！！！运行真快！ 前言 本文主要探讨…
Python 自动化办公之 Excel 拆分并自动发邮件
作者 | 周萝卜来源 | 萝卜大杂烩今天我们来分享一个真实的自动化办公案例，希望各位 Python 爱好者能够从中得到些许启发，在自己的工作生活中更多的应用 Python，使得工作事半功倍！需求需要向大约 500 名用户发送带有 Excel 附件的电…
In Gradle projects, always use http://schemas.andr
2019独角兽企业重金招聘Python工程师标准>>> 版权声明：本文为博主原创文章，未经博主允许不得转载。 在做项目自定义时候遇到这个错误 In Gradle projects, always use http://schemas.android.com/apk/res-auto for custom attributes 解决办…
HTTP POST慢速DOS攻击初探
1. 关于HTTP POST慢速DOS攻击 HTTP Post慢速DOS攻击第一次在技术社区被正式披露是今年的OWASP大会上，由Wong Onn Chee 和 Tom Brennan共同演示了使用这一技术攻击的威力。他们的slides在这里： http://www.darkreading.com/galleries/security/applicatio…
Java 学习（20）--异常 / IO 流
异常（Exception） (1)程序出现的不正常的情况。 (2)异常的体系 Throwable（接口，将异常类对象交给 JVM 来处理） |--Error 严重问题，我们不处理。(jvm 错误，程序无法处理) |--Exception 异常 …
runtime自动归档/解档
原文出自：标哥的技术博客 前言 善用runtime，可以解决自动归档解档。想想以前归档是手动写的，确实太麻烦了。现在有了runtime，我们可以做到自动化了。本篇文章旨在学习如何通过runtime实现自动归档和解档，因此不会对所有…
Ivanti 洞察职场新趋势：71% 的员工宁愿放弃升职也要选择随处工作
近日，为从云端到边缘的 IT 资产提供检测、管理、保护和服务的自动化平台供应商 Ivanti 公布了其年度无处不在的办公空间（ Everywhere Workplace） 调查结果。这项调查是Ivanti与全球“未来工作”专家共同完成的，调查范围涵盖 6100 …
Shippable和Packet合作提供原生ARM CI/CD
DevOps自动化平台Shippable和裸金属云服务提供商Packet联合发布了一种新的持续集成和交付（CI/CD）托管服务，适用于在Armv8-A架构上开发软件应用的开发人员。该解决方案支持开源和商业软件项目，用于在Packet提供的基于ARM的云服务上…
阿里云ECS架设***过程总结
原文地址:最近开发移动项目,数据库服务是架设在电信服务器上,可怜我的联通网络本地调试直接x碎了一地!!度娘相关资料后,最终决定在阿里云ECS上架设作为跳板来访问电信服务器!一.原理1.阿里云ECS上架设.2.本地连接使用拨号到阿里云ECS.3.使用阿里云ECS网络访问电信服务器.使用前…
MYSQL的MERGE存储引擎
MYSQL的引擎不是一般的多，这次说到的是MERGE，这个引擎有很多特殊的地方： MERGE引擎类型允许你把许多结构相同的表合并为一个表。然后，你可以执行查询，从多个表返回的结果就像从一个表返回的结果一样。每一个合并的表必…
Pandas SQL 语法归纳总结，真的太全了
作者 | 俊欣来源 | 关于数据分析与可视化对于数据分析师而言，Pandas与SQL可能是大家用的比较多的两个工具，两者都可以对数据集进行深度的分析，挖掘出有价值的信息，但是二者的语法有着诸多的不同，今天小编就来总结归纳一…
分布式RPC实践--Dubbo基础篇
2019独角兽企业重金招聘Python工程师标准>>> 简介 Dubbo是阿里巴巴开源的一个高性能的分布式RPC框架，整个框架的核心原理来源于生产者与消费者的运作模型；框架的核心分4大部分： 1. 服务注册中心 注册中心主要用于保存生产者消费者…
又居家办公了，要签合同怎么办？
本篇文章暨 CSDN《中国 101 计划》系列数字化转型场景之一。 《中国 101 计划——探索企业数字化发展新生态》为 CSDN 联合《新程序员》、GitCode.net 开源代码仓共同策划推出的系列活动，寻访一百零一个数字化转型场景，聚合呈现并开通评选通道࿰…
lombox的用法（省去了set/get/NoArgsConstructor/AllArgsConstructor）
1、环境的搭建，在eclipse下的eclipse.ini中添加以下参数，-Xbootclasspath/a:C:\repository\org\projectlombok\lombok\1.16.6\lombok-1.16.6.jar-javaagent:C:\repository\org\projectlombok\lombok\1.16.6\lombok-1.16.6.jar重启你的eclipse.2、将lombo…
mysql 压力测试脚本
#创建表DEPTCREATE TABLE dept( /*部门表*/deptno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0,dname VARCHAR(20) NOT NULL DEFAULT "",loc VARCHAR(13) NOT NULL DEFAULT "") ENGINEMyISAM DEFAULT CHARSETutf8 ;#创建表EMP雇员CREATE TABLE emp(empno…
C++语言学习（十二）——C++语言常见函数调用约定
C语言学习（十二）——C语言常见函数调用约定 一、C语言函数调用约定简介 C /C开发中，程序编译没有问题，但链接的时候报告函数不存在，或程序编译和链接都没有错误，但只要调用库中的函数就会出现堆栈异常等现象…
PHP代码保护——Zend Guard
Zend Guard的作用，就是用编译处理的方式来保护PHP源代码免于被反编译查看、未经授权的定制修改、未经许可的使用和重新发布等。而且，它是PHP的东家Zend公司开发的，是完全为PHP量身定做的保护神。 下面，请大家就和我一起来学习使用…
Python 2.4 递归函数
递归函数在函数内部，可以调用其他函数。如果一个函数在内部调用本身，这个函数就是递归函数。举个例子：计算阶乘n!1*2*3*4*5*...*n，用函数fact(n)表示，可以看出fact(n)n!f(n-1)*n所以，fact(n)可以表示为n*fa…
生于俄罗斯的 Web 服务器王者 Nginx，现宣布俄罗斯禁止贡献！
作者 | 苏宓出品 | CSDN不久之前，一些底层工具、软件、开源项目相继宣布在俄罗斯停服，彼时也有不少开发者呼吁 Nginx 是时候进行反限制了。万万没想到，就在国际局势发生改变的一个月后，Nginx 动了手，但是有些「意料之外…
OCP换考题了，052新考题及答案整理-第17题
17、Which two statements are true about tablespaces? A) A database can contain multiple undo tablespaces. B) A database can contain only a single temporary tablespace. C) A database instance stores undo data In the SYSTEM tablespace If no undo tablespace …
linux的mount（挂载）命令详解
linux下挂载（mount）光盘镜像文件、移动硬盘、U盘、Windows和NFS网络共享 linux是一个优秀的开放源码的操作系统，可以运行在大到巨型小到掌上型各类计算机系统上，随着 linux系统的日渐成熟和稳定以及它开放源代码特有的优越性&…
GPT-3 再更新，新增编辑和插入文本功能，简直不要太好用！
编译 | 禾木木出品 | AI科技大本营（ID:rgznai100）GPT-3 是 OpenAL 提出的基于上下文的超大规模自然处理深度学习模型。这意味着如果你给 GPT-3 某些上下文内容时，它会试图去填充其余内容。例如给出句子的前部分，它会推测出下半部分…
scala akka 修炼之路5(scala特质应用场景分析)
scala中特质定义：包括一些字段，行为(方法/函数/动作)和一些未实现的功能接口的集合，能够方便的实现扩展或混入到已有类或抽象类中。 scala中特质(trait)是一个非常实用的特性，在程序设计中能够 更好的抽象现实。使程序更关注各自功…
6.2 sql安全性
最后的例子将显示如何通过现有证书创建-个新的用户。本章稍后会介绍证书，但在 这个例子中，首先创建证书，然后创建用户： USE AdventureWorks2008; CREATE CERTIFICATE SalesCert ENCRYPTION BY PASSWORD Pssw0rd WITH SUBJECT fSa…
2022，人工智能开启未来新密码
作者 | 剑客阿良_ALiang（胡逸） 出品 | AI科技大本营（ID:rgznai100） 购买大型电器、汽车，你是否会询问有没有智能语音功能？是的，潜移默化中人们已经不再将人工智能当作魔术，而是习以为…
PHP Socket配置以及实例
2个php测试文件 server.php <?php//phpinfo();//确保在连接客户端时不会超时set_time_limit(0);$ip 127.0.0.1;$port 1935;/*-------------------------------* socket通信整个过程-------------------------------* socket_create* socket_bind* socket_lis…
Windows下msysGit使用及相关配置
Windows下msysGit使用及相关配置
使用可信证书为windows RDP服务提供加密
2019独角兽企业重金招聘Python工程师标准>>> 0x01 前言 在windows server下可以通过配置远程桌面服务为RDP连接提供有效的数字证书以便提高安全性。 可是个人用户或并没有部署域控制器的用户是无法通过这种途径修改RDP所使用的数字证书，在不安全的环境中…