MYSQL企业常用架构与调优经验分享
小道消息：2016爱维Linux高薪实战运维提高班全新登场,课程大纲：http://www.iivey.com/666-2
一、选择Percona Server、MariaDB还是MYSQL
1、Mysql三种存储引擎
MySQL提供了两种存储引擎：MyISAM和 InnoDB，MySQL4和5使用默认的MyISAM存储引擎。从MYSQL5.5开始，MySQL已将默认存储引擎从MyISAM更改为InnoDB。
MyISAM没有提供事务支持，而InnoDB提供了事务支持。
XtraDB是InnoDB存储引擎的增强版本，被设计用来更好的使用更新计算机硬件系统的性能，同时还包含有一些在高性能环境下的新特性。
2、Percona Server分支
Percona Server由领先的MySQL咨询公司Percona发布。
Percona Server是一款独立的数据库产品，其可以完全与MySQL兼容，可以在不更改代码的情况了下将存储引擎更换成XtraDB。是最接近官方MySQL Enterprise发行版的版本。
Percona提供了高性能XtraDB引擎，还提供PXC高可用解决方案，并且附带了percona-toolkit等DBA管理工具箱，
3、MariaDB
MariaDB由MySQL的创始人开发，MariaDB的目的是完全兼容MySQL，包括API和命令行，使之能轻松成为MySQL的代替品。
MariaDB提供了MySQL提供的标准存储引擎，即MyISAM和InnoDB，10.0.9版起使用XtraDB（名称代号为Aria）来代替MySQL的InnoDB。
4、如何选择
综合多年使用经验和性能对比，首选Percona分支，其次是MariaDB，如果你不想冒一点风险，那就选择MYSQL官方版本。
二、常用的MYSQL调优策略
1、硬件层相关优化
修改服务器BIOS设置
选择Performance Per Watt Optimized(DAPC)模式，发挥CPU最大性能。
Memory Frequency（内存频率）选择Maximum Performance（最佳性能）
内存设置菜单中，启用Node Interleaving，避免NUMA问题
2、磁盘I/O相关
使用SSD硬盘
如果是磁盘阵列存储，建议阵列卡同时配备CACHE及BBU模块，可明显提升IOPS。
raid级别尽量选择raid10，而不是raid5.
3、文件系统层优化
使用deadline/noop这两种I/O调度器，千万别用cfq
使用xfs文件系统，千万别用ext3；ext4勉强可用，但业务量很大的话，则一定要用xfs；
文件系统mount参数中增加：noatime, nodiratime, nobarrier几个选项（nobarrier是xfs文件系统特有的）；
4、内核参数优化
修改vm.swappiness参数，降低swap使用率。RHEL7/centos7以上则慎重设置为0，可能发生OOM
调整vm.dirty_background_ratio、vm.dirty_ratio内核参数，以确保能持续将脏数据刷新到磁盘，避免瞬间I/O写。产生等待。
调整net.ipv4.tcp_tw_recycle、net.ipv4.tcp_tw_reuse都设置为1，减少TIME_WAIT，提高TCP效率。
5、Mysql参数优化建议
建议设置default-storage-engine=InnoDB，强烈建议不要再使用MyISAM引擎。
调整innodb_buffer_pool_size的大小，如果是单实例且绝大多数是InnoDB引擎表的话，可考虑设置为物理内存的50% -70%左右。
设置innodb_file_per_table = 1，使用独立表空间。
调整innodb_data_file_path = ibdata1:1G:autoextend，不要用默认的10M,在高并发场景下，性能会有很大提升。
设置innodb_log_file_size=256M，设置innodb_log_files_in_group=2，基本可以满足大多数应用场景。
调整max_connection（最大连接数）、max_connection_error（最大错误数）设置，根据业务量大小进行设置。
另外，open_files_limit、innodb_open_files、table_open_cache、table_definition_cache可以设置大约为max_connection的10倍左右大小。
key_buffer_size建议调小，32M左右即可，另外建议关闭query cache。
mp_table_size和max_heap_table_size设置不要过大，另外sort_buffer_size、join_buffer_size、read_buffer_size、read_rnd_buffer_size等设置也不要过大。
三、 MYSQL常见的应用架构分享
1、主从复制解决方案
这是MySQL自身提供的一种高可用解决方案，数据同步方法采用的是MySQL replication技术。MySQL replication就是从服务器到主服务器拉取二进制日志文件，然后再将日志文件解析成相应的SQL在从服务器上重新执行一遍主服务器的操作，通过这种方式保证数据的一致性。
为了达到更高的可用性，在实际的应用环境中，一般都是采用MySQL replication技术配合高可用集群软件keepalived来实现自动failover，这种方式可以实现95.000%的SLA。
2、MMM/MHA高可用解决方案
MMM提供了MySQL主主复制配置的监控、故障转移和管理的一套可伸缩的脚本套件。在MMM高可用方案中，典型的应用是双主多从架构，通过MySQL replication技术可以实现两个服务器互为主从，且在任何时候只有一个节点可以被写入，避免了多点写入的数据冲突。同时，当可写的主节点故障时，MMM套件可以立刻监控到，然后将服务自动切换到另一个主节点，继续提供服务，从而实现MySQL的高可用。
3、Heartbeat/SAN高可用解决方案
在这个方案中，处理failover的方式是高可用集群软件Heartbeat，它监控和管理各个节点间连接的网络，并监控集群服务，当节点出现故障或者服务不可用时，自动在其他节点启动集群服务。在数据共享方面，通过SAN（Storage Area Network）存储来共享数据，这种方案可以实现99.990%的SLA。
4、Heartbeat/DRBD高可用解决方案
此方案处理failover的方式上依旧采用Heartbeat，不同的是，在数据共享方面，采用了基于块级别的数据同步软件DRBD来实现。
DRBD是一个用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。和SAN网络不同，它并不共享存储，而是通过服务器之间的网络复制数据。
四、MYSQL经典应用架构
其中：
Dbm157是mysql主，dbm158是mysql主的备机，dbs159/160/161是mysql从。
MySQL写操作一般采用基于heartbeat+DRBD+MySQL搭建高可用集群的方案。通过heartbeat实现对mysql主进行状态监测，而DRBD实现dbm157数据同步到dbm158。
读操作普遍采用基于LVS+Keepalived搭建高可用高扩展集群的方案。前端AS应用通过提高的读VIP连接LVS，LVS有keepliaved做成高可用模式，实现互备。
最后，mysql主的从节点dbs159/160/161通过mysql主从复制功能同步mysql主的数据，通过lvs功能提供给前端AS应用进行读操作，并实现负载均衡。
相关文章：
mysql 5.x 安装_mysql 5.5.x zip直接解压版安装方法
到官网下载mysql-5.5.10-win32.zip，然后将mysql解压到任意路径，如：C:\mysql-5.5.10-win32打开计算机->属性->高级系统设置->环境变量，新建一个环境变量，变量名为：MYSQL_HOME，变量值为你…
阿里云移动数据分析服务使用教程
阿里云大学课程：阿里云移动数据分析服务使用教程课程介绍：移动数据分析 (Mobile Analytics) 是阿里云推出的一款移动App数据统计分析产品，为开发者提供一站式数据化运营服务：通用的多维度用户行为分析、数据开放并支持自定义分析、…
Apache的服务端包含--SSI
SSI定义： SSI（服务器端包含）提供了一种对现有HTML文档增加动态内容的方法。 作用： 一般出于效率的考虑，网站都会把内容尽可能的静态化成HTML文件，但是网站页面的布局往往比较复杂，各个部分的更新…
mysql校对规则_MySQL中的校对规则
详解MySQL中的校对规则Welcome to the MySQL monitor. Commands end with ; or \g.Your MySQL connection id is 7Server version: 5.6.14 MySQL Community Server (GPL)Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.Oracle is a registered…
c#操作oracle的通用类
using System;using System.Collections;using System.Collections.Generic;using System.Data;using System.Linq;using System.Text;using DDTek.Oracle;using System.Configuration;namespace Common{ <summary> /// OracleHelper 的摘要说明。 /// </summary> …
react es6+ 代码优化之路-1
这里集合了一些代码优化的小技巧 在初步接触 es6 和 react 的时候总结的一些让代码跟加简化和可读性更高的写法大部分知识点是自己在平时项目中还不知道总结的，一致的很多优化的点没有写出来，逐步增加中,目的是使用最少的代码，高效的解决问题…
反向ajax实现
英文原文： Reverse Ajax, Part 1: Introduction to Comet在过去的几年中，web开发已经发生了很大的变化。现如今，我们期望的是能够通过web快速、动态地访问应用。在这一新的文章系列中，我们学习如何使用反向Ajax（Revers…
ef关联多实体查询_Mybatis基本知识十二：关联关系查询之延迟加载：侵入式延迟加载...
上一篇文章：《Mybatis基本知识十一：关联关系查询之延迟加载策略：直接加载》若文中有纰漏,请多多指正！！！1.前言延续上一章节，本章节主要讲解和演示在关联关系查询中侵入式延迟加载是怎么回事。与…
Java高危漏洞被再度利用 可攻击最新版本服务器
2019独角兽企业重金招聘Python工程师标准>>> 安全研究人员警告称，甲骨文在2013年发布的一个关键 Java 漏洞更新是无效的，黑客可以轻松绕过。这使得此Java高危漏洞可以被再度利用，击运行最新版本 Java 的个人计算机及服务器。甲骨文…
不断演进的 Chrome 安全标识
文 / Chrome Security 产品经理 Emily Schechter 此前，我们曾发布一项提议，建议将所有 HTTP 网页标记为确定 “不安全” 并移除 HTTPS 网页的安全标识。自从我们在 Chrome 中引入安全标识以来，网络上的 HTTPS 使用量迅速增加。今年晚些时候&a…
gcc -E 选项
-E 只激活预处理,这个不生成文件,你需要把它重定向到一个输出文件里面.例子用法:gcc -E hello.c > pianoapan.txtgcc -E hello.c | more慢慢看吧,一个hello word 也要与处理成800行的代码 -E选项，表示让gcc只进行“预处理”就行了。 所谓的预处理，就是…
剑指offer青蛙跳台阶问题
（1）一只青蛙一次可以跳上 1 级台阶，也可以跳上2 级。求该青蛙跳上一个n 级的台阶总共有多少种跳法。//递归方式 public static int f(int n) { //参数合法性验证 if (n < 1) { System.out.println("参数必须大于1！&quo…
mysql 亿级表count_码云社 | 砺锋科技-MySQL的count(*)的优化，获取千万级数据表的总行数 - 用代码改变世界...
专注于Java领域优质技术号，欢迎关注作者：李长念一、前言这个问题是今天朋友提出来的，关于查询一个1200w的数据表的总行数，用count(*)的速度一直提不上去。找了很多优化方案，最后另辟蹊径，选择了用explain来…
使用mysql内连接查询年龄_Mysql的连表查询
若一个查询同时涉及到两个以上的表，称为连表查询准备表create table department(id int auto_increment PRIMARY KEY,name varchar(20));departmentcreate table employee(id int primary key auto_increment,name varchar(20),sex enum(male,female) not null defa…
FastDFS安装与使用
安装注意要修改：/etc/fdfs/client.confvim /etc/fdfs/client.confbase_path/home/yuqing/fastdfs 修改为： base_path/home/fastdfstracker_server192.168.209.121:22122 修改为： tracker_server10.201.20.237:22122##include http.conf 修改…
angular组合preact
preact 大小3kb，可以当做angular的一个dom库，而且可以对接使用preact生态系统，react组件修改成preact还是蛮简单的，这样就可以解决angular中用render2操作dom的繁琐问题了!O(∩_∩)O哈哈~，异想天开，动工! t…
大型网站系统架构系列：分布式消息队列（二）
四、JMS消息服务 讲消息队列就不得不提JMS 。JMS（JAVA Message Service,java消息服务）API是一个消息服务的标准/规范，允许应用程序组件基于JavaEE平台创建、发送、接收和读取消息。它使分布式通信耦合度更低，消息服务更加可靠以及…
Linux环境编译安装Mysql以及PHP中文乱码解决
mysql安装 5.6以后可能会收费，所以选择5.1以下从台湾中山大学镜像下载1.首先要安装C编译环境 # yum install gcc-c2.下载解压# wget http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-5.1/mysql-5.1.73.tar.gz # tar zxvf mysql-5.1.73.tar.gz # cd mysql-5.1.7…
mysql noinstall_windows mysql noinstall
最近在想做mysql 主,从备份.在一台windows下安装多个mysql server , 发现用安装版的会覆盖前一安装程序,所以就用noinstall版本的mysql server,在此记录下安装过程的步骤.可主,从备份最终没能跑起来........这只是其中方法之一而已windows 下安装mysql-noinstall so easy!!!步骤…
[十九]JavaIO之PipedReader 和 PipedWriter
功能简介还记得PipedInputStream 和 PipedOutputStream么 我们之前是这么说的: 使用管道通信时，必须将PipedOutputStream和PipedInputStream配套使用 大致流程： 我们在线程A中向PipedOutputStream中写入数据，这些数据会自动的发送到与PipedO…
Linux环境HBase安装与使用
原文出自本人另一个Linux博客 http://blog.csdn.net/unix21/article/details/18776073 Linux环境：CentOS6.5 HBase版本：hbase-0.94.16 HBase官网：http://hbase.apache.org 1.下载解压安装文件 # wget http://mirror.bit.edu.cn/apache/hbase/…
Oracle定时执行存储过程
首先查看SQL> show parameter job NAME TYPE VALUE------------------------------------ ----------- ------------------------------job_queue_processes integer 10如果值是 0 需要修改（如果为…
mysql8.0取消授权_mysql8创建用户、删除用户、授权、取消授权
注意，以下命令均在数据库mysql中操作use mysql;mysql有密码设置规范,这里修改仅密码长度为4位,仅本次登录有效set global validate_password.policy0;set global validate_password.length4;创建用户格式CREATE USER usernamehost IDENTIFIED WITH mysql_native_pas…
Azure编配器简化有状态无服务器工作流的创建
Azure Durable Functions旨在通过引入编排器function概念来定义更复杂的工作流，以此来扩展无服务器计算范式。如果你曾经想过要使用它们，微软刚刚发布了一个示例，帮助开发人员开始他们的无服务器计算和编排器function之旅。\\Azure Functions…
ZooKeeper集群环境安装与配置
原文：出自本人的Linux博客http://blog.csdn.net/unix21/ ZooKeeper版本：3.4.5 约定：3台虚拟机 前提：需要安装JDK，关于Linux环境JDK安装配置参考我的另一帖Linux环境安装卸载JDK以及安装Tomcat和发布Java的web程序ZooKe…
thinkphp5 mysql长连接_tp5(thinkPHP5)框架连接数据库的方法示例
本文实例讲述了thinkPHP5框架连接数据库的方法。分享给大家供大家参考，具体如下：1、配置文件目录 tp5applicationdatabase.php通过配置文件来连接。。也可以通过方法链接在控制器里方法链接数据库 ；查询时写法 和使用系统的DB类方法略有差异/…
学习笔记之Linux Shell脚本教程：30分钟玩转Shell脚本编程
Linux Shell脚本教程：30分钟玩转Shell脚本编程 http://c.biancheng.net/cpp/shell/转载于:https://www.cnblogs.com/pegasus923/p/5304025.html
tomcat的startup.bat闪退问题解决
从官网下载一个免安装的tomcat，我把它解压在E盘，配置了环境变量：CATALINA_HOME、CATALINA_BASE、TOMCAT_HOME 为 tomcat的解压路径 进入解压tomcat的bin目录，执行startup.bat，出现闪退。 然后winR 输入cmd 进入解压tom…
使用Netbeans创建java Web项目
使用Netbeans创建java Web项目需要先搭建JDK参考： Java开发环境的搭建以及使用eclipse创建项目 Linux环境安装卸载JDK1.安装Tomcat 去官网下载最新的Tomcat:http://tomcat.apache.org/ 目前最新的windows环境的Tomcat是 http://mirrors.hus…
Linux内核设计第五周学习总结 分析system_call中断处理过程
陈巧然原创作品 转载请注明出处 《Linux内核分析》MOOC课程http://mooc.study.163.com/course/USTC-1000029000使用gdb跟踪分析一个系统调用中断处理过程，分析系统调用从system_call开始到iret结束之间的整个过程。 实验过程： 登陆实验楼虚拟机http://w…