大型数据库入门
本文介绍大型数据库的概念及其性能决定因素，以及如何优化性能。
- 什么是大型数据库
-没有一个标准定义
-包含非常多元组(数据库行)的数据库，或者占用非常大的物理文件系统存储空间的数据库。
-占据TB量级的磁盘存储，包含数十亿表行。 - 为什么需要大型数据库
今天企业管理的数据总量
- 大型数据库性能的决定因素
OS<DBMS<硬件<应用<架构
- 如何提高大型数据库性能
可分为以下四个步骤：
~应用层面的优化
~数据库设计与配置优化
~操作系统和硬件优化
~架构的优化
4.1 应用层面的优化
寻找常见的问题：
应用是否真正使用了它取得的数据？
应用里执行了太多的查询？（ORM、嵌套）
应用在毫无必要的时候还连上了数据库？
应用连接到数据库的次数是不是太多？
使用连接池了吗？
使用缓存了吗？
4.2 数据库设计与配置优化
设计优化（Schema和Index）
-优化设计不良或索引不佳的schema，能把性能提高几个数量级。
-Schema的优化和索引既需要大局观，又需要专注细节。
-优化通常需要权衡取舍。如为了加快查询添加索引会减慢更新的速度；非规范化的schema能加快某些类型的查询，却让其它类型查询变慢。
数据库配置优化
-包括缓存大小、I/O调优、并发数等。
-具体的配置依赖于服务器的硬件、数据量、查询类型、响应时间、事务持久性和连续性等因素。
-不要期望改变配置会带来巨大的性能提升。提升的具体大小取决于工作负载，通常可以选择适当的配置参数得到两到三倍的性能提升。
4.3 操作系统和硬件优化
最弱部分决定了性能，操作系统和硬件通常也会成为限制因素（如CPU饱和、内存不够、I/O饱和）。
可以从以下几方面进行优化：
CPU/内存/IO(RAID、网络存储)/网络/操作系统
4.4 架构的优化
When
构建大型、高性能应用程序
类型
①分散式数据库架构
其特点是业务单一、单机单业务服务、无交叉关联、简单Replication机制、依赖硬件，数据的存储和管理均由单机实现。
②集中式数据库架构
重点是放在数据库管理和存储上。特点是集群易扩展，功能多；数据存储与应用分离；数据库结构各异，业务连接和使用方式各异。
③分布式数据库架构
其特点是不仅关注存储和管理，并且把应用也注重起来，提供透明应用和策略的数据库服务； 自动扩容、节点自动分裂与合并。
相关文章：
php安装pear和phpunit
php安装pear和phpunit http://hi.baidu.com/zjutxujie/item/7b08761f922df7476926bb2c 安装pear 下载go-pear.phar，放到phproot/pear目录下，地址http://pear.php.net/go-pear.phar。 管理员身份运行cmd，打开phproot，运行php -d p…
ResNets和Inception的理解
ResNets和Inception的理解 ResNet解析
软件体系结构风格（第5-8课时）
摘要：本文给出软件体系结构风格的定义，并介绍几种常用风格：管道过滤器、数据抽象和面向对象组织，基于事件的隐式调用，分层系统，仓库系统，过程控制环路 软件体系结构风格是什么 描述特定系统组织…
C#中调用Windows API时的数据类型对应关系
C#中调用Windows API时的数据类型对应关系 原文 C#中调用Windows API时的数据类型对应关系 BOOLSystem.Int32 BOOLEANSystem.Int32 BYTESystem.UInt16 CHARSystem.Int16 COLORREFSystem.UInt32 DWORDSystem.UInt32 DWORD32System.UInt32 DWORD64System.UInt64 …
linux下安装db2
最近研究了一下在 ubuntu下安装db2的过程，很快就完成安装，特贴出来供大家讨论，如有错误请多多指教。 注意：安装过程请使用root用户，否则会出现安装失败的情况； 安装过程： 准备工作： …
使用 SAX 解析器简化文档处理程序的编写
http://www-900.ibm.com/developerWorks/cn/xml/x-dochan.shtml有时候 SAX 文档处理程序的代码可能变得非常麻烦、结构性差而且难以维护，尤其是对于那些包含多种不同元素的复杂 XML 结构。本文介绍了应对这种问题的设计策略，从而有助于改进代码的质量和可…
软件体系结构风格之C/S，三层C/S，与BS
C/S的物理结构，其发展历程为(1)->(3)->(2)，本文接下来要介绍的C/S为(3),即胖客户端瘦服务器,服务器只管数据库，接下来要介绍的三层C/S为(2)，即客户端不胖不瘦。 C/S软件体系结构 背景：基于资源不对等࿰…
HDU-2020
绝对值排序 Problem Description输入n(n<100)个整数，按照绝对值从大到小排序后输出。题目保证对于每一个测试实例，所有的数的绝对值都不相等。 Input输入数据有多组，每组占一行，每行的第一个数字为n,接着是n个整数，…
Java归去来第2集：利用Eclipse创建Maven Web项目
一、前言 如果还不了解剧情，请返回第一集的剧情 Java归去来第1集：手动给Eclipse配置Maven环境 二、利用Eclipse创建Maven Web项目 选择File-New-Project 然后选择Maven-Maven Project 选择项目所在的工作空间目录，然后下一步 选择模…
vs2005什么时候能出正式版
2005试用版本出了很久了，不知道什么时候能出正式版，不会真得要推迟到2005年吧。企盼中…… 转载于:https://www.cnblogs.com/playboy2005/archive/2004/09/22/45563.html
人工神经网络是如何实现存算一体的
摘要 本文内容如题。 下图是一个神经元模型 可以将其抽象为一个数学函数yf(w1x1w2x2…wn*xnb)。也就是这个模型同时涵盖输入输出和进行计算。
编码能力的提升？_20131228
我在编程过程中发现，编码也是一很重要的能力，故花一点时间对其进行思考。 现将思考的成果与各位同行分享；我希望大家在看到以后，能提供宝贵的意见，先谢之！ 转载于:https://www.cnblogs.com/uestc999/p/3495…
Microsoft PowerToys for Windows XP
它们又卷土重来了！PowerToys是由开发人员在软件产品正式发布并投放生产后相继编制的附加程序。它们的出现不仅使Windows体验更加兴味盎然，而且，还为Windows系统平添了许多功能特性。 说明：我们已为确保PowerToys的正常运行而付出了…
mysql主从配置读写分离笔记
第二次回头看了，第一次学完后感觉都会了，回头再看才发现什么都想不起来了。还得查资料再学习，虽然很简单。还是做个笔记吧！笔记有点糙 就是自己看的因为主要是测试主从和读写分离 所以直接 yum install -y mariadb mariadb-server…
通用软件测试的6个角度
之后的课程都会围绕此展开 以QQ邮箱为例 外观界面测试 页面外观背景颜色、字体、字体格式、页面图案、动画、窗体布局功能测试 输入正确的用户名和密码可以登录，其他都不可性能测试 输入完邮箱的用户名和密码并单击登录按钮后，用户等待多长时间可以登录…
easyui源码翻译1.32--Messager（消息窗口）
前言 使用$.messager.defaults重写默认值对象。下载该插件翻译源码 消息窗口提供了不同的消息框风格，包含alert(警告框), confirm(确认框), prompt(提示框), progress(进度框)等。所有的消息框都是异步的。用户可以在交互消息之后使用回调函数去处理结果或做一些自己…
新闻网站个人中心(查询用户的关注信息)流程分析
1.获取当前用户登录状态 2.获取参数 用户的id user_id 3.获取新闻作者的id 4.如果新闻作者id和用户id 5.返回内容给前端转载于:https://www.cnblogs.com/zxt-cn/p/9158860.html
物联网技术与应用（第1-2课时）（cont.）
物联网的定义： 通过射频识别（RFID）、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，将任何物品通过有线与无线方式与互联网连接，进行通信和信息交换，以实现智能化识别、定位…
db2 基础语法
一、db2 基础 基本语法 注释：“--”（两个减号） 字符串连接：“||” 如set msg’aaaa’||’bbbb’，则msg为’aaaabbbb’ 字符串的引用：‘’（一定用单引号），如果需要输入单引…
Repeater分页代码
//ASP.NET中的DataList和Repeater提供了简单快速的方法來显示,其间，我们可以使用<ItemTemplate>更是使我们能随心所欲的控制数据的排放样式！ //.可惜的是它们不像Datagrid那样，有内置的分页功能。 // //如何解决呢？ // //其…
消失，只为一个人存在……
好像很久很久没有24小时挂在网上了…… 每天收到的短消息来源越来越单一…… 在朋友中消失，所有的来电和消息，都不愿意理会…… 朋友虽然很重要，可是现在只想为一个人存在。 请各位好朋友原谅， 我就是那种重色轻友的人嘛…… 转载…
统一建模语言——UML（第9-20课时）（cont.）
文章目录UML概述UML是什么UML能做什么为什么要学UMLUML构造需求模型用例建模技术绘制用例图识别执行者识别用例检查形式关联关系编写用例文档用例文档的组成部分详细说明检查用例模型状态图定义组成元素复杂一点活动图定义作用组成元素绘制技巧例顺序图定义作用组成元素UML构造…
xunsearch 迅搜初探
2014年1月2日 19:34:12 1 [rootlocalhost bin]# ./php /usr/local/lamp/xunsearch/sdk/php/util/Quest.php demo "俗话说 OR pid:1"2 在 3 条数据中，大约有 2 条包含 俗话说 OR pid:1 ，第 1-2 条，用时：0.0036 秒。3 4 1…
Aria2打造属于自己的下载神器
请关注微信公众号( ?sharingplus) 我使用Aria2差不多已经2年了。在这段时间使用很多下载工具，最开始使用的是迅雷极速版 、后面各种原因不好使了。Free Download Manager、uTorrent、qBittorrent、BitComet、IDM等等全部折腾了一遍。各有千秋，在上面中使…
GARFIELD@12-10-2004
无所不用其极 转载于:https://www.cnblogs.com/rexhost/archive/2004/12/10/75223.html
机器学习中的三对性能度量参数
文章目录1 分类结果混淆矩阵2 错误率和精度3 查准率P和查全率R4 真正例率TPR和假正例率FPR1 分类结果混淆矩阵 2 错误率和精度 错误率：分类错误的样本数占样本总数的比例 精度：分类正确的样本数占样本总数的比例 关系：两者之和为1 3 查准率…
管理输入光标的 WIN32 API 函数
下面的 API 函数是用来管理输入光标的 API 函数，下面是在使用C#时声明的这些函数： /**//// <summary> /// 参数说明： /// hwnd : 要创建光标的控件的句柄 /// hbm : 一个位图的句柄，如果指定则使用指定…
linux 防火墙 -netfilter
2019独角兽企业重金招聘Python工程师标准>>> 关于iptables 什么是iptables? 常见于linx系统下的应用层防火墙工具 firewalld 和netfilter Linux 防火墙-netfilter selinux 临时关闭 setenforce 0selinux 永久关闭 vi /etc/selinux/configcentos7 之前使用 netfilte…
信号完整性 带宽的确定
对于只包含很少电容的电路，可认为是梯形边沿，最大带宽可以采用 f1/tr.其中tr为上升时间。 对于有容性负载的电路，可以认为是指数边沿，最大带宽可以采用f4/tr.其中tr为上升时间。 参考书籍《数字信号完整性：互连、封装的…
验证(verification)和确认(validation)
验证：看软件产品是否符合需求文档 确认：看软件产品是否满足用户需求 整个软件测试做的事是验证