MySql中管理百万级要注意些什么东西(转载)
一、我们可以且应该优化什么? 硬件 操作系统/软件库 SQL服务器(设置和查询) 应 用编程接口(API) 应用程序 二、优化硬件 如果你需要庞大的数据库表 (>2G),你应该考虑使用64位的硬件结构,像Alpha、Sparc或即将推出的IA64。因为MySQL内部使用大量64位的整数,64位的 CPU将提供更好的性能。 对大数据库,优化的次序一般是RAM、快速硬盘、CPU能力。 更多的内存通过将最常用的键 码页面存放在内存中可以加速键码的更新。 如果不使用事务安全(transactionsafe)的表或有大表并且想避免长文件检查,一 台UPS就能够在电源故障时让系统安全关闭。 对于数据库存放在一个专用服务器的系统,应该考虑1G的以太网。延迟与吞吐量同样重要。 三、 优化磁盘 为系统、程序和临时文件配备一个专用磁盘,如果确是进行很多修改工作,将更新日志和事务日志放在专用磁盘上。 低寻道 时间对数据库磁盘非常重要。对与大表,你可以估计你将需要log(行数)/log(索引块长度/3*2/(键码长度 + 数据指针长度))+1次寻到才能找到一行。对于有500000行的表,索引Mediun int类型的列,需要log(500000) / log(1024/3*2/(3 + 2))+1=4次寻道。上述索引需要500000*7*3/2=5.2M的空间。实际上,大多数块将被缓存,所以大概只需要12次寻道。 然而对 于写入(如上),你将需要4次寻道请求来找到在哪里存放新键码,而且一般要2次寻道来更新索引并写入一行。 对于非常大的数据库,你的应用将受到 磁盘寻道速度的限制,随着数据量的增加呈N log N数据级递增。 将数据库和表分在不同的磁盘上。在MySQL中,你可以为此而使用符号链 接。 条列磁盘(RAID 0)将提高读和写的吞吐量。 带镜像的条列(RAID 0+1)将更安全并提高读取的吞吐量。写入的吞吐量将有所降低。 不要对临时文件或可以很容易地重建的数据所在的磁盘使用镜像或RAID(除了 RAID 0)。 在Linux上,在引导时对磁盘使用命令hdparm m16 d1以启用同时读写多个扇区和DMA功能。这可以将响应时间提高5~50%。 在Linux上,用async (默认)和noatime挂载磁盘(mount)。 对于某些特定应用,可以对某些特定表使用内存磁盘,但通常不需要。 四、 优化操作系统 不要交换区。如果内存不足,增加更多的内存或配置你的系统使用较少内存。 不要使用NFS磁盘(会有NFS锁定的 问题)。 增加系统和MySQL服务器的打开文件数量。(在safe_mysqld脚本中加入ulimit n #)。 增加系统的进程 和线程数量。 如果你有相对较少的大表,告诉文件系统不要将文件打碎在不同的磁道上(Solaris)。 使用支持大文件的文件系统 (Solaris)。 选择使用哪种文件系统。在Linux上的Reiserfs对于打开、读写都非常快。文件检查只需几秒种。 五、 选择应用编程接口 PERL 可在不同的操作系统和数据库之间移植。 适宜快速原型。 应该使用DBI/DBD 接口。 PHP 比PERL易学。 使用比PERL少的资源。 通过升级到PHP4可以获得更快的速度。 C MySQL 的原生接口。 较快并赋予更多的控制。 低层,所以必须付出更多。 C++ 较高层次,给你更多的时间来编写应用。 仍 在开发中 ODBC 运行在Windows和Unix上。 几乎可在不同的SQL服务器间移植。 较慢。MyODBC只 是简单的直通驱动程序,比用原生接口慢19%。 有很多方法做同样的事。很难像很多ODBC驱动程序那样运行,在不同的领域还有不同的错误。 问 题成堆。Microsoft偶尔还会改变接口。 不明朗的未来。(Microsoft更推崇OLE而非ODBC) ODBC 运 行在Windows和Unix上。 几乎可在不同的SQL服务器间移植。 较慢。MyODBC只是简单的直通驱动程序,比用原生接口慢 19%。 有很多方法做同样的事。很难像很多ODBC驱动程序那样运行,在不同的领域还有不同的错误。 问题成堆。Microsoft偶 尔还会改变接口。 不明朗的未来。(Microsoft更推崇OLE而非ODBC) JDBC 理论上可在不同的操作系统何时据 库间移植。 可以运行在web客户端。 Python和其他 可能不错,可我们不用它们。 六、 优化应用 应该集中精力解决问题。 在编写应用时,应该决定什么是最重要的: 速度 操作系统间的可移植性 SQL 服务器间的可移植性 使用持续的连接。. 缓存应用中的数据以减少SQL服务器的负载。 不要查询应用中不需要的列。 不 要使用SELECT * FROM table_name... 测试应用的所有部分,但将大部分精力放在在可能最坏的合理的负载下的测试整体应 用。通过以一种模块化的方式进行,你应该能用一个快速“哑模块”替代找到的瓶颈,然后很容易地标出下一个瓶颈。 如果在一个批处理中进行大量修 改,使用LOCK TABLES。例如将多个UPDATES或DELETES集中在一起。 七、应该使用可移植的应用 Perl DBI/DBD ODBC JDBC Python(或其他有普遍SQL接口的语言) 你应该只使用存在于所有目的 SQL服务器中或可以很容易地用其他构造模拟的SQL构造。www.mysql.com上的Crashme页可以帮助你。 为操作系统/SQL服 务器编写包装程序来提供缺少的功能。 八、如果你需要更快的速度,你应该: 找出瓶颈(CPU、磁盘、 内存、SQL服务器、操作系统、API或应用)并集中全力解决。 使用给予你更快速度/灵活性的扩展。 逐渐了解SQL服务器以便能为你 的问题使用可能最快的SQL构造并避免瓶颈。 优化表布局和查询。 使用复制以获得更快的选择(select)速度。 如果你有 一个慢速的网络连接数据库,使用压缩客户/服务器协议。 不要害怕时应用的第一个版本不能完美地移植,在你解决问题时,你总是可以在以后优化它。 九、优化MySQL 挑选编译器和编译选项。 位你的系统寻找最好的启动选项。 通 读MySQL参考手册并阅读Paul DuBios的《MySQL》一书。(已有中文版译注) 多用EXPLAIN SELECT、SHOW VARIABLES、SHOW STATUS和SHOW PROCESSLIST。 了解查询优化器的工作原理。 优化表的格式。 维 护你的表(myisamchk、CHECK TABLE、 OPTIMIZE TABLE) 使用MySQL的扩展功能以让一切快速完成。 如 果你注意到了你将在很多场合需要某些函数,编写MySQL UDF函数。 不要使用表级或列级的GRANT,除非你确实需要。 购买 MySQL技术支持以帮助你解决问题 十、编译和安装MySQL 通过位你的系统挑选可能最好的编译 器,你通常可以获得1030%的性能提高。 在Linux/Intel平台上,用pgcc(gcc的奔腾芯片优化版)编译MySQL。然而,二进 制代码将只能运行在Intel奔腾CPU上。 对于一种特定的平台,使用MySQL参考手册上推荐的优化选项。 一般地,对特定CPU的 原生编译器(如Sparc的Sun Workshop)应该比gcc提供更好的性能,但不总是这样。 用你将使用的字符集编译MySQL。 静 态编译生成mysqld的执行文件(用withmysqldldflags=allstatic)并用strip sql/mysqld整理最终的执行文件。 注意,既然MySQL不使用C++扩展,不带扩展支持编译MySQL将赢得巨大的性能提高。 如 果操作系统支持原生线程,使用原生线程(而不用mitpthreads)。 用MySQL基准测试来测试最终的二进制代码。 十 一、维护 如果可能,偶尔运行一下OPTIMIZE table,这对大量更新的变长行非常重要。 偶尔用myisamchk a更新一下表中的键码分布统计。记住在做之前关掉MySQL。 如果有碎片文件,可能值得将所有文件复制到另一个磁盘上,清除原来的磁盘并拷回文 件。 如果遇到问题,用myisamchk或CHECK table检查表。 用mysqladmin i10 precesslist extendedstatus监控MySQL的状态。 用MySQL GUI客户程序,你可以在不同的窗口内监控进程列表和状态。 使 用mysqladmin debug获得有关锁定和性能的信息。 十二、优化SQL 扬SQL之长,其 它事情交由应用去做。使用SQL服务器来做: 找出基于WHERE子句的行。 JOIN表 GROUP BY ORDER BY DISTINCT 不要使用SQL来做: 检验数据(如日期) 成为一只计算器 技 巧: 明智地使用键码。 键码适合搜索,但不适合索引列的插入/更新。 保持数据为数据库第三范式,但不要担心冗余信息 或这如果你需要更快的速度,创建总结表。 在大表上不做GROUP BY,相反创建大表的总结表并查询它。 UPDATE table set count=count+1 where key_column=constant非常快。 对于大表,或许最好偶尔生成总结表而不是一 直保持总结表。 充分利用INSERT的默认值。 十三、不同SQL服务器的速度差别(以秒计) ++++ |通过键码读取2000000行: | NT | Linux | ++++ |mysql | 367 | 249 | ++++ |mysql_odbc | 464 | | ++++ |db2_odbc | 1206 | | ++++ |informix_odbc | 121126 | | ++++ |mssql_odbc | 1634 | | ++++ |oracle_odbc | 20800 | | ++++ |solid_odbc | 877 | | ++++ |sybase_odbc | 17614 | | ++++ ++++ |插入350768行: | NT | Linux | ++++ |mysql | 381 | 206 | ++++ |mysql_odbc | 619 | | ++++ |db2_odbc | 3460 | | ++++ |informix_odbc | 2692 | | ++++ |mssql_odbc | 4012 | | ++++ |oracle_odbc | 11291 | | ++++ |solid_odbc | 1801 | | ++++ |sybase_odbc | 4802 | | ++++ 在上述测试中,MySQL配置8M高速缓存运 行,其他数据库以默认安装运行。 十四、重要的MySQL启动选项 back_log 如果需要大量新连接,修改它。 thread_cache_size 如果需要大量新连接,修改它。 key_buffer_size 索引页池,可以设成很大。 bdb_cache_size BDB表使用的记录和键吗高速缓存。 table_cache 如果有很多的表和并发连接,修改它。 delay_key_write 如果需要缓存所有键码写入,设置它。 log_slow_queries 找出需花大量时间的查询。 max_heap_table_size 用于GROUP BY sort_buffer 用于ORDER BY和GROUP BY myisam_sort_buffer_size 用于REPAIR TABLE join_buffer_size 在进行无键吗的联结时使用。 十五、优化表 MySQL拥有一套丰富的类型。你应该对每一列 尝试使用最有效的类型。 ANALYSE过程可以帮助你找到表的最优类型:SELECT * FROM table_name PROCEDURE ANALYSE()。 对于不保存NULL值的列使用NOT NULL,这对你想索引的列尤其重要。 将ISAM类 型的表改为MyISAM。 如果可能,用固定的表格式创建表。 不要索引你不想用的东西。 利用MySQL能按一个索引的前缀进 行查询的事实。如果你有索引INDEX(a,b),你不需要在a上的索引。 不在长CHAR/VARCHAR列上创建索引,而只索引列的一个前缀 以节省存储空间。CREATE TABLE table_name (hostname CHAR(255) not null, index(hostname(10))) 对每个表使用最有效的表格式。 在不同表中保存相同信息的列应该有同样的定义并具有相同的列 名。 十六、MySQL如何次存储数据 数据库以目录存储。 表以文件存储。 列以变 长或定长格式存储在文件中。对BDB表,数据以页面形式存储。 支持基于内存的表。 数据库和表可在不同的磁盘上用符号连接起来。 在 Windows上,MySQL支持用.sym文件内部符号连接数据库。 十七、MySQL表类型 HEAP 表:固定行长的表,只存储在内存中并用HASH索引进行索引。 ISAM表:MySQL 3.22中的早期Btree表格式。 MyIASM:IASM 表的新版本,有如下扩展: 二进制层次的可移植性。 NULL列索引。 对变长行比ISAM表有更少的碎片。 支持大文 件。 更好的索引压缩。 更好的键吗统计分布。 更好和更快的auto_increment处理。 来自 Sleepcat的Berkeley DB(BDB)表:事务安全(有BEGIN WORK/COMMIT|ROLLBACK)。 十 八、MySQL行类型(专指IASM/MyIASM表) 如果所有列是定长格式(没有VARCHAR、BLOB或TEXT),MySQL 将以定长表格式创建表,否则表以动态长度格式创建。 定长格式比动态长度格式快很多并更安全。 动态长度行格式一般占用较少的存储空间, 但如果表频繁更新,会产生碎片。 在某些情况下,不值得将所有VARCHAR、BLOB和TEXT列转移到另一个表中,只是获得主表上的更快速 度。 利用myiasmchk(对ISAM,pack_iasm),可以创建只读压缩表,这使磁盘使用率最小,但使用慢速磁盘时,这非常不错。压 缩表充分地利用将不再更新的日志表 十九、MySQL高速缓存(所有线程共享,一次性分配) 键码缓 存:key_buffer_size,默认8M。 表缓存:table_cache,默认64。 线程缓 存:thread_cache_size,默认0。 主机名缓存:可在编译时修改,默认128。 内存映射表:目前仅用于压缩表。 注 意:MySQL没有运行高速缓存,而让操作系统处理。 二十、MySQL缓存区变量(非共享,按需分配) sort_buffer:ORDER BY/GROUP BY record_buffer:扫描表。 join_buffer_size:无键联结 myisam_sort_buffer_size:REPAIR TABLE net_buffer_length:对于读SQL语句并缓存结果。 tmp_table_size:临时结果的HEAP 表大小。 二十一、MySQL表高速缓存工作原理 每个MyISAM表的打开实例(instance)使用 一个索引文件和一个数据文件。如果表被两个线程使用或在同一条查询中使用两次,MyIASM将共享索引文件而是打开数据文件的另一个实例。 如果 所有在高速缓存中的表都在使用,缓存将临时增加到比表缓存尺寸大些。如果是这样,下一个被释放的表将被关闭。 你可以通过检查mysqld的 Opened_tables变量以检查表缓存是否太小。如果该值太高,你应该增大表高速缓存。 二十二、 MySQL扩展/优化提供更快的速度 使用优化的表类型(HEAP、MyIASM或BDB表)。 对数据使用优化的列。 如 果可能使用定长行。 使用不同的锁定类型(SELECT HIGH_PRIORITY,INSERT LOW_PRIORITY) Auto_increment REPLACE (REPLACE INTO table_name VALUES (...)) INSERT DELAYED LOAD DATA INFILE / LOAD_FILE() 使用多行INSERT一次插入多行。 SELECT INTO OUTFILE LEFT JOIN, STRAIGHT JOIN LEFT JOIN ,结合IS NULL ORDER BY可在某些情况下使用键码。 如果只查询在一个索引中的列,将只使用索引树解决查询。 联结一般比子查询快(对大多数SQL服务器亦如 此)。 LIMIT SELECT * from table1 WHERE a > 10 LIMIT 10,20 DELETE * from table1 WHERE a > 10 LIMIT 10 foo IN (常数列表) 高度优化。 GET_LOCK()/RELEASE_LOCK() LOCK TABLES INSERT和SELECT可同时运行。 UDF函数可装载进一个正在运行的服务器。 压缩 只读表。 CREATE TEMPORARY TABLE CREATE TABLE .. SELECT 带RAID选项的 MyIASM表将文件分割成很多文件以突破某些文件系统的2G限制。 Delay_keys 复制功能 二 十二、MySQL何时使用索引 对一个键码使用>, >=, =, <, <=, IF NULL和BETWEEN SELECT * FROM table_name WHERE key_part1=1 and key_part2 > 5; SELECT * FROM table_name WHERE key_part1 IS NULL; 当 使用不以通配符开始的LIKE SELECT * FROM table_name WHERE key_part1 LIKE 'jani%' 在进行联结时从另一个表中提取行时 SELECT * from t1,t2 where t1.col=t2.key_part 找出指定索引的MAX()或MIN()值 SELECT MIN(key_part2),MAX(key_part2) FROM table_name where key_part1=10 一 个键码的前缀使用ORDER BY或GROUP BY SELECT * FROM foo ORDER BY key_part1,key_part2,key_part3 在所有用在查询中的列是键码的一部分时间 SELECT key_part3 FROM table_name WHERE key_part1=1 二十三、MySQL何时不 使用索引 如果MySQL能估计出它将可能比扫描整张表还要快时,则不使用索引。例如如果key_part1均匀分布在1和100之间, 下列查询中使用索引就不是很好: SELECT * FROM table_name where key_part1 > 1 and key_part1 < 90 如果使用HEAP表且不用=搜索所有键码部分。 在HEAP表上使用ORDER BY。 如果不是用键码第一部分 SELECT * FROM table_name WHERE key_part2=1 如 果使用以一个通配符开始的LIKE SELECT * FROM table_name WHERE key_part1 LIKE '%jani%' 搜索一个索引而在另一个索引上做ORDER BY SELECT * from table_name WHERE key_part1 = # ORDER BY key2 二十四、学会使用EXPLAIN 对 于每一条你认为太慢的查询使用EXPLAIN! mysql> explain select t3.DateOfAction, t1.TransactionID > from t1 join t2 join t3 > where t2.ID = t1.TransactionID and t3.ID = t2.GroupID > order by t3.DateOfAction, t1.TransactionID; +++++++++ | table | type | possible_keys | key | key_len | ref | rows | Extra | +++++++++ | t1 | ALL | NULL | NULL | NULL | NULL | 11 | Using temporary; Using filesort | | t2 | ref | ID | ID | 4 | t1.TransactionID | 13 | | | t3 | eq_ref | PRIMARY | PRIMARY | 4 | t2.GroupID | 1 | | +++++++++ ALL 和范围类型提示一个潜在的问题。 二十五、学会使用SHOW PROCESSLIST 使 用SHOW processlist来发现正在做什么: +++++++++ | Id | User | Host | db | Command | Time | State | Info | +++++++++ | 6 | monty | localhost | bp | Query | 15 | Sending data | select * from station,station as s1 | | 8 | monty | localhost | | Query | 0 | | show processlist | +++++++++ 在mysql或mysqladmin中用KILL来杀死溜掉的线 程。 二十六、如何知晓MySQL解决一条查询 运行项列命令并试图弄明白其输出: SHOW VARIABLES; SHOW COLUMNS FROM ...\G EXPLAIN SELECT ...\G FLUSH STATUS; SELECT ...; SHOW STATUS; 二十七、MySQL非常不错 日 志 在进行很多连接时,连接非常快。 同时使用SELECT和INSERT的场合。 在不把更新与耗时太长的选择结合时。 在 大多数选择/更新使用唯一键码时。 在使用没有长时间冲突锁定的多个表时。 在用大表时(MySQL使用一个非常紧凑的表格式)。 二 十八、MySQL应避免的事情 用删掉的行更新或插入表,结合要耗时长的SELECT。 在能放在WHERE子句中的列上用 HAVING。 不使用键码或键码不够唯一而进行JOIN。 在不同列类型的列上JOIN。 在不使用=匹配整个键码时使用 HEAP表。 在MySQL监控程序中忘记在UPDATE或DELETE中使用一条WHERE子句。如果想这样做,使用mysql客户程序的 iamadummy选项。 二十九、MySQL各种锁定 内部表锁定 LOCK TABLES(所有表类型适用) GET LOCK()/RELEASE LOCK() 页面锁定(对BDB表) ALTER TABLE也在BDB表上进行表锁定 LOCK TABLES允许一个表有多个读者和一个写者。 一般WHERE锁定具有比READ锁定 高的优先级以避免让写入方干等。对于不重要的写入方,可以使用LOW_PRIORITY关键字让锁定处理器优选读取方。 UPDATE LOW_PRIORITY SET value=10 WHERE id=10; 三十、给MySQL 更多信息以更好地解决问题的技巧 注意你总能去掉(加注释)MySQL功能以使查询可移植: SELECT /*! SQL_BUFFER_RESULTS */ ... SELECT SQL_BUFFER_RESULTS ... 将强制MySQL 生成一个临时结果集。只要所有临时结果集生成后,所有表上的锁定均被释放。这能在遇到表锁定问题时或要花很长时间将结果传给客户端时有所帮助。 SELECT SQL_SMALL_RESULT ... GROUP BY ... 告诉优化器结果集将只包含很少的行。 SELECT SQL_BIG_RESULT ... GROUP BY ... 告诉优化器结果集将包含很多行。 SELECT STRAIGHT_JOIN ... 强制优化器以出现在FROM子句中的次序联结表。 SELECT ... FROM table_name [USE INDEX (index_list) | IGNORE INDEX (index_list)] table_name2 强制MySQL使用/忽略列出的索引。 二十一、MySQL表高速缓存工作原理 每个 MyISAM表的打开实例(instance)使用一个索引文件和一个数据文件。如果表被两个线程使用或在同一条查询中使用两次,MyIASM将共享索引 文件而是打开数据文件的另一个实例。 如果所有在高速缓存中的表都在使用,缓存将临时增加到比表缓存尺寸大些。如果是这样,下一个被释放的表将被 关闭。 你可以通过检查mysqld的Opened_tables变量以检查表缓存是否太小。如果该值太高,你应该增大表高速缓存。 二十二、MySQL扩展/优化提供更快的速度 使用优化的表类型(HEAP、MyIASM或BDB 表)。 对数据使用优化的列。 如果可能使用定长行。 使用不同的锁定类型(SELECT HIGH_PRIORITY,INSERT LOW_PRIORITY) Auto_increment REPLACE (REPLACE INTO table_name VALUES (...)) INSERT DELAYED LOAD DATA INFILE / LOAD_FILE() 使用多行INSERT一次插入多行。 SELECT INTO OUTFILE LEFT JOIN, STRAIGHT JOIN LEFT JOIN ,结合IS NULL ORDER BY可在某些情况下使用键码。 如 果只查询在一个索引中的列,将只使用索引树解决查询。 联结一般比子查询快(对大多数SQL服务器亦如此)。 LIMIT SELECT * from table1 WHERE a > 10 LIMIT 10,20 DELETE * from table1 WHERE a > 10 LIMIT 10 foo IN (常数列表) 高度优化。 GET_LOCK()/RELEASE_LOCK() LOCK TABLES INSERT和SELECT可同时运行。 UDF函数可装载进一个正在运行的服务器。 压缩 只读表。 CREATE TEMPORARY TABLE CREATE TABLE .. SELECT 带RAID选项的 MyIASM表将文件分割成很多文件以突破某些文件系统的2G限制。 Delay_keys 复制功能 二 十二、MySQL何时使用索引 对一个键码使用>, >=, =, <, <=, IF NULL和BETWEEN SELECT * FROM table_name WHERE key_part1=1 and key_part2 > 5; SELECT * FROM table_name WHERE key_part1 IS NULL; 当 使用不以通配符开始的LIKE SELECT * FROM table_name WHERE key_part1 LIKE 'jani%' 在进行联结时从另一个表中提取行时 SELECT * from t1,t2 where t1.col=t2.key_part 找出指定索引的MAX()或MIN()值 SELECT MIN(key_part2),MAX(key_part2) FROM table_name where key_part1=10 一 个键码的前缀使用ORDER BY或GROUP BY SELECT * FROM foo ORDER BY key_part1,key_part2,key_part3 在所有用在查询中的列是键码的一部分时间 SELECT key_part3 FROM table_name WHERE key_part1=1 二十三、MySQL何时不 使用索引 如果MySQL能估计出它将可能比扫描整张表还要快时,则不使用索引。例如如果key_part1均匀分布在1和100之间, 下列查询中使用索引就不是很好: SELECT * FROM table_name where key_part1 > 1 and key_part1 < 90 如果使用HEAP表且不用=搜索所有键码部分。 在HEAP表上使用ORDER BY。 如果不是用键码第一部分 SELECT * FROM table_name WHERE key_part2=1 如 果使用以一个通配符开始的LIKE SELECT * FROM table_name WHERE key_part1 LIKE '%jani%' 搜索一个索引而在另一个索引上做ORDER BY SELECT * from table_name WHERE key_part1 = # ORDER BY key2 二十四、学会使用EXPLAIN 对 于每一条你认为太慢的查询使用EXPLAIN! mysql> explain select t3.DateOfAction, t1.TransactionID > from t1 join t2 join t3 > where t2.ID = t1.TransactionID and t3.ID = t2.GroupID > order by t3.DateOfAction, t1.TransactionID; +++++++++ | table | type | possible_keys | key | key_len | ref | rows | Extra | +++++++++ | t1 | ALL | NULL | NULL | NULL | NULL | 11 | Using temporary; Using filesort | | t2 | ref | ID | ID | 4 | t1.TransactionID | 13 | | | t3 | eq_ref | PRIMARY | PRIMARY | 4 | t2.GroupID | 1 | | +++++++++ ALL 和范围类型提示一个潜在的问题。 二十五、学会使用SHOW PROCESSLIST 使 用SHOW processlist来发现正在做什么: +++++++++ | Id | User | Host | db | Command | Time | State | Info | +++++++++ | 6 | monty | localhost | bp | Query | 15 | Sending data | select * from station,station as s1 | | 8 | monty | localhost | | Query | 0 | | show processlist | +++++++++ 在mysql或mysqladmin中用KILL来杀死溜掉的线 程。 二十六、如何知晓MySQL解决一条查询 运行项列命令并试图弄明白其输出: SHOW VARIABLES; SHOW COLUMNS FROM ...\G EXPLAIN SELECT ...\G FLUSH STATUS; SELECT ...; SHOW STATUS; 二十七、MySQL非常不错 日 志 在进行很多连接时,连接非常快。 同时使用SELECT和INSERT的场合。 在不把更新与耗时太长的选择结合时。 在 大多数选择/更新使用唯一键码时。 在使用没有长时间冲突锁定的多个表时。 在用大表时(MySQL使用一个非常紧凑的表格式)。 二 十八、MySQL应避免的事情 用删掉的行更新或插入表,结合要耗时长的SELECT。 在能放在WHERE子句中的列上用 HAVING。 不使用键码或键码不够唯一而进行JOIN。 在不同列类型的列上JOIN。 在不使用=匹配整个键码时使用 HEAP表。 在MySQL监控程序中忘记在UPDATE或DELETE中使用一条WHERE子句。如果想这样做,使用mysql客户程序的 iamadummy选项。 二十九、MySQL各种锁定 内部表锁定 LOCK TABLES(所有表类型适用) GET LOCK()/RELEASE LOCK() 页面锁定(对BDB表) ALTER TABLE也在BDB表上进行表锁定 LOCK TABLES允许一个表有多个读者和一个写者。 一般WHERE锁定具有比READ锁定 高的优先级以避免让写入方干等。对于不重要的写入方,可以使用LOW_PRIORITY关键字让锁定处理器优选读取方。 UPDATE LOW_PRIORITY SET value=10 WHERE id=10; 三十、给MySQL 更多信息以更好地解决问题的技巧 注意你总能去掉(加注释)MySQL功能以使查询可移植: SELECT /*! SQL_BUFFER_RESULTS */ ... SELECT SQL_BUFFER_RESULTS ... 将强制MySQL 生成一个临时结果集。只要所有临时结果集生成后,所有表上的锁定均被释放。这能在遇到表锁定问题时或要花很长时间将结果传给客户端时有所帮助。 SELECT SQL_SMALL_RESULT ... GROUP BY ... 告诉优化器结果集将只包含很少的行。 SELECT SQL_BIG_RESULT ... GROUP BY ... 告诉优化器结果集将包含很多行。 SELECT STRAIGHT_JOIN ... 强制优化器以出现在FROM子句中的次序联结表。 SELECT ... FROM table_name [USE INDEX (index_list) | IGNORE INDEX (index_list)] table_name2 强制MySQL使用/忽略列出的索引 |
转载于:https://blog.51cto.com/ace105/715189
相关文章:

【数据库】sqlite3数据库备份、导出方法汇总
【数据库】sqlite3常用命令及SQL语句 目录1、直接拷贝数据库2、使用.backup .clone1)交互式2)脚本3、导出到csv文件中(其它格式类似)1)交互式2)脚本3)导出成其它格式汇总a> .mode asciib>…

高通与苹果宣布“复合”,英特尔黯然退场 | 极客头条
作者 | 郭芮转载自公众号CSDN(ID:CSDNnews)为期两年的苹果高通“诉讼之争”经历了各种推波助澜愈演愈烈,俨然到了最为关键的白热化阶段,没成想,在刚刚正式进入美国司法庭审环节的两天后却被强势叫停了!4 月…
MQTT 协议 Client ID 长度不能超过23个字符
今天遇到一个MQTT的问题,MqttException: MQIsdp ClientId > 23 bytes ClientId的长度大于23时,无法链接MQTT服务器。 经过查看协议发现:客户端标识符(Client ID)是介于1和23个字符长度,客户端到服务器的唯一标识。它必须在搜有客户端连接到…

【数据库】适用于SQLite的SQL语句(一)
目录一、统计函数二、表TABLE1、创建表CREATE TABLE2、更改表ALTER TABLE3、删除表DROP TABLE三、分析表ANALYZE四、附加数据库 ATTACH DATABASE五、事务六、核心函数七、索引INDEX1、创建索引:CREATE INDEX2、查看索引:3、使用索引 INDEXED BY4、删除索…

谷歌大神Jeff Dean点赞网红博士论文:改进分布式共识机制 | 技术头条
作者 | Heidi Howard编译 | 刘静本文转载自公众号图灵TOPIA(ID:turingtopia)本文作者Heidi Howard,是剑桥大学计算机科学与技术系系统研究小组的分布式系统研究员。Heidi的研究领域一直围绕分布式系统中的一致性,容错性和性能并且…

使用Nginx做前端服务器时让Apache得到真实IP的方法
一:nginx.conf proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; 其实这个proxy.conf里面默认都有,在nginx.conf使用include proxy.conf就可以 二:apa…

Hadoop生态圈-hive五种数据格式比较
Hadoop生态圈-hive五种数据格式比较 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。

华为巨资收购为云计算趟平道路?
华为巨资收购为云计算趟平道路?<?xml:namespace prefix o ns "urn:schemas-microsoft-com:office:office" />文 小刀马众所周知,华为在全球的技术能力和市场地位也是有目共睹的,这是华为多少年兢兢业业守成的一种回报。更…

【数据库】适用于SQLite的SQL语句(二)
目录九、视图VIEW1、创建视图2、删除视图十、虚拟表1、创建虚拟表2、删除虚拟表十一、时间和日期的函数十二、分析和故障排除十三、SQL语句中的表达式1、运算符2、字面值3、参数十四、插入 INSERT十五、SQLite关键字十六、解决冲突 ON CONFLICT九、视图VIEW 视图是基于真实数据…

从对ML一窍不通到斩获AT等special offer,拿下大厂算法岗就靠它了
整理 | 一一出品 | AI科技大本营(ID:rgznai100)2019 年春招就要过去,秋招也就不远了。对于很多计算机专业的毕业生来说,大部分都还处于迷茫期,由于大学时的大部分时间都可能在划水,导致不知道现在如何准备就…

WWDC2018总结
本人的第一篇文章(现在写文章是为了提升自己的语句表达能力) 欢迎大家观看本文章,是略微总结一下WWDC2018发布的iOS12的新东西 iOS12略微总结(持续更新。。。) iOS12 变化 iOS 12新功能汇总(后面希望可以上…

make报错:/usr/bin/ld: cannot find -lXXX
在编译php时报错如下: # make 。。。 /usr/bin/ld: cannot find -lltdl collect2: ld returned 1 exit status make: *** [libphp5.la] Error 1 问题原因: 该问题一般是由于ld在进行库的连接时找不到库文件所致: 解决方案: 出现该…

for死循环、怪异字符串、两次return……Python冷知识(三)
本文转载自Python编程时光(ID:Python-Time)冷知识系列,已经更新至第三篇。前两篇传送门小明给你准备好了,还没阅读的可以学习一下。谈谈 Python 那些不为人知的冷知识(一)谈谈 Python 那些不为人知的冷知识…

snmpd 子代理模式编译测试
1、参考链接 1)Net-snmp添加子代理示例https://blog.csdn.net/eyf0917/article/details/395466512、操作步骤1)网络拷贝下面的文件http://www.net-snmp.org/tutorial/tutorial-5/toolkit/mib_module/NET-SNMP-TUTORIAL-MIB.txthttp://www.net-snmp.org/t…

【数据库】适用于SQLite的SQL语句(三)
目录十七、重新引索REINDEX十八、查询SELECT1、简单查询2、复合查询十九、更新UPDATE二十、公用表表达式(CTE)WITH1、普通表达式2、递归表达式二十三、VACUUM二十四、UPSERT十七、重新引索REINDEX REINDEX命令用于从头开始删除和重新创建索引。 十八、…

算法系列15天速成——第二天 七大经典排序【中】
首先感谢朋友们对第一篇文章的鼎力支持,感动中....... 今天说的是选择排序,包括“直接选择排序”和“堆排序”。 话说上次“冒泡排序”被快排虐了,而且“快排”赢得了内库的重用,众兄弟自然眼红,非要找快排一比高下。…

如何构建优质的推荐系统服务?| 技术头条
作者丨gongyouliu来源 | 大数据与人工智能(ID:ai-big-data)任何一个优质的软件服务都必须考虑高性能、高可用(HighAvailability)、可伸缩、可拓展、安全性等5大核心要素,推荐系统也不例外。所以,我们会围绕这5个点来说明ÿ…

DispatcherServlet之HandlerAdapter的handle
2019独角兽企业重金招聘Python工程师标准>>> 注:SpringFramework的版本是4.3.x。 1.DispatcherServlet的doService方法时序图 图1 DispatcherServlet的doService方法时序图 2.AnnotationMethodHandlerAdapter的handle方法时序图 图2的原图在Gith…

【C++】C++11 STL算法(九):番外篇
1、如果获取指针或迭代器指向的类型 详见:C 11:如何获取一个指针或迭代器指向的类型? decltype(*std::declval<Pointer>())decltype:c11关键字,类型推导。详见:【C】C11新增关键字详解 std::declva…

IBM Tivoli Netview在企业网络管理中的实践(附视频)
今天我为大家介绍的一款高端网管软件名叫IBM Tivoli NetView,他主要关注是IBM整理解决方案的用户,分为Unix平台和Windwos平台两种,这里视频演示的是基于Windows 2003 server下的IBM Tivoli NetView 6.1在企业中的部署应用,可以为大…

【C++】C++11 STL算法(十):使用STL实现排序算法
一、快速排序 1、适用于c11版本 template <class ForwardIt> void quicksort(ForwardIt first, ForwardIt last) {if(first last) return;auto pivot *std::next(first, std::distance(first,last)/2);ForwardIt middle1 std::partition(first, last, [pivot](con…

“你行你上”:有本事跟OpenAI Five打一把DOTA?| 极客头条
整理 | 一一出品 | AI科技大本营(ID:rgznai100)你们不是嫌弃世界冠军 OG 团队实力太水吗?“你行你上”的机会来了。4 月 14 日凌晨,OpenAI Five 以 2:0 击败了 DOTA 世界冠军团队 OG 引发热议。比赛当天,OpenAI 也宣布…

Java学习笔记二十五:Java面向对象的三大特性之多态
Java面向对象的三大特性之多态 一:什么是多态; 多态是同一个行为具有多个不同表现形式或形态的能力. 多态就是同一个接口,使用不同的实例而执行不同操作. 多态性是对象多种表现形式的体现。 现实中,比如我们按下 F1 键这个动作&am…

省钱之道--图解域域树域林根域的含义
省钱之道--图解域域树域林根域的含义 标签:域 域林 图解域域树域林根域的含义 域树 根域原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://angerfire.blog.51cto.com/198455/1…

AI算法在FPGA芯片上还有这种操作?| 技术头条
作者 | 杨付收出品 | CSDN(ID:CSDNnews)碾压与崛起AI算法的崛起并非一帆风顺的,现在的主流的NN类的卷积神经网络已经是第二波浪潮了,早在上个世纪80年代,源于仿生学,后又发展于概率学的早期AI算…

[Doctrine Migrations] 数据库迁移组件的深入解析三:自定义数据字段类型
自定义type 根据官方文档,新建TinyIntType类,集成Type,并重写getName,getSqlDeclaration,convertToPHPValue,getBindingType等方法。 TinyIntType.php完整代码: <?php namespace db\types; …

【网络编程】同步IO、异步IO、阻塞IO、非阻塞IO
IO分两阶段: 1.数据准备阶段:在该阶段,根据是否等待数据准备,将IO分成阻塞和非阻塞; 2.内核空间复制回用户进程缓冲区阶段:在该阶段,只要程序需要等待复制完成,才能往下运行…

PowerDesigner 使用的一些技巧(转)
-> Generate Database ,在弹出的 Database Generation 对话框中选择脚本存取路径及脚本文件名称 3、点击确定后生成数据库建库脚本(*.sql) 二、生成脚本时报错: Column Code maxinum lenght 原因:字段超过15字符就发生错误&…

【网络编程】epoll 笔记
一、最大连接数 1、select select在单进程中最多同时监听1024个fd;要想实现百万并发需要一千个进程,并且性能会很差、内存消耗巨大。所以select只适用于连接数在一千个以下的场景。 2、epoll epoll本身不限制连接数,但是连接数会受到系统…

交通图网络太大太复杂,没法处理?DMVST-Net巧妙处理
参加「CTA 核心技术及应用峰会」,请扫码报名 ↑↑↑作者 | Huaxiu Yao, Fei Wu, Jintao Ke, Xianfeng Tang等译者 | 一步一步望着天上星编辑 | Jane出品 | AI科技大本营(id:rgznai100)【导语】自 2018 年 6 月 DeepMind 发表论文“…