当前位置: 首页 > 编程日记 > 正文

MySQL编码引发的两个问题

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

概述

先讲一下写该文章的原因,首先,工作中又遇到一条很熟悉的MySQL报错信息 Cause: java.sql.SQLException: Incorrect string value:Cause: java.sql.SQLException: Incorrect string value… (emoji表情存储导致),原因是MySQL的字符集导致的;其次,因为一直听说数据库变更可能锁表,但是一直不知道到底哪些操作会导致锁表。所以今天对相关知识做一个系统的整理。

对于mysql的字符集编码已经不陌生了,不过,每次遇到相关问题都是依赖于百度、Google...

今天遇到的emoji表情的存储问题也是司空见惯了,原因多数是因为MySQL使用了utf8字符集(至于公司之前为什么会用utf8我也不清楚,就不过多吐槽了),utf8字符集本身并无可厚非,但是MySQL的这一败笔算是真正的技术打脸,详情可见 《永远不要在MySQL中使用UTF-8》 。

言归正传,今天整理两个问题:

  • 什么是MySQL编码?
  • 什么操作会导致MySQL锁表?

确定要大刀阔斧的干?

遇到上面关于数据库字符集的问题,想必大家会想到两种办法:一,修改编码字符集为utf8mb4;二,找开发对相应的字段进行处理,然后再存入数据库。当然,第一种方法要简单有效的多,这也是大多数情况会采用的方法,这次我们也是采用的第一种方法,于是有了接下来的问题。

修改字段字符集编码:

ALTER TABLE tbl_name CHANGE c_name c_name CHARACTER SET character_name [COLLATE ...];如:ALTER TABLE logtest CHANGE title title VARCHAR(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;

再次插入数据,发现还是报错!why?Google一下,发现这篇文章 彻底解决MySQL字符集问题 。

沿着这个思路,查看公司线上和测试服(能正常写入数据)数据库编码相关配置: 20190508155731058848135.png

如图所示,线上数据库数据表的编码仍然是utf8!问题的原因浮出水面,那么为什么线上线下会不一致呢?刚来公司不久就不追溯了。那么,改线上数据表的编码类型吧。

此时,另一个问题迎面而来,更改数据表编码类型会不会导致数据库锁表呢?(话外音:线上数据库,如果锁表,影响还是比较严重的。。。)在此告诫各位看管,线上任何修改一定要三四而后行!

想要解决上面提到的问题,还得从数据库的原理入手,下面做一个系统的学习和整理。

MySQL编码体系——数据存储编码

MySQL的字符编码结构比较细,它大方向分为两个部分:数据存储编码和数据传输编码。本篇讨论数据存储编码部分,数据传输编码详见 MySQL的字符编码体系(二)——数据存储编码 。

编码层次

数据存储的字符编码配置是指定数据库中存储的数据默认采用什么字符编码。默认字符编码的设置分为四个层次:服务器级、数据库级、数据表级和列级。也就是说,可以为服务器设置一个默认字符编码,再为服务器中的每一个数据库设置不同的默认编码,再为同一个数据库中的每一个数据表设置不同的默认编码,再为同一个数据表中的每一个列设置不同的默认编码。

20190510155748291832633.png

那这四个层次的编码设置到底如何起作用呢?如果新建数据库时没有指定字符编码,就默认设置为服务器的编码;如果新建数据表时没有指定任何编码,就默认设置为数据库的编码;如果向数据表添加新列或新建数据表时没有特别指定某些列的编码,那么这些列就默认设置为数据表的编码。注意这里四个层次的编码都是作为“默认”的存在,用户创建数据库、表或增加列时直接指定的编码是最优先的。

另一方面,直接改变这四个层次的编码并不会改变它们各自所有下层对象的当前编码。比如修改只Server级,那么所有已经存在的数据库的默认编码不变,数据表、表列以及每一行现有数据记录的字符编码都不变,但是如果新建一个数据库且不指定其默认编码,那它的默认编码就会被设置为Server的默认编码;同样即使修改了所有四个层次的编码,但是数据表中每一条现有记录的字符字段仍然是按原来的编码存储的,但是如果向数据表中新插入一条记录,数据库将根据数据表当前各列的默认编码来存储该条记录的各个字符字段。

参考:MySQL的字符编码体系(一)——数据存储编码

设置方法

修改Server以下 各级编码的SQL语句如下:

# 库
ALTER {DATABASE | SCHEMA} [db_name] [DEFAULT] CHARACTER SET [=] charset_name;# 表
ALTER TABLE dbl_name [DEFAULT] CHARACTER SET [=] charset_name;# 字段
ALTER TABLE dbl_name MODIFY [COLUMN] col_name {CHAR[(length)] | TEXT} CHARACTER SET charset_name;

注意上面第三条修改列字符编码,实际上是通过完全重新定义列属性的方式实现的,语法跟创建新数据表时指定列字段属性一样的。所以如果这里只是想修改列字符编码,那就必须完整地写上创建该列时使用的所有定义修饰。

修改Server默认编码可以通过运行时直接修改变量character_set_server实现,但这样是临时性的,客户端关闭重启后又会自动恢复。要想永久改变Server默认编码需要在my.ini或my.cnf配置文件的“[mysqld]”区域中设定该变量的值,然后重启服务器:

[mysqld]
character_set_server=charset_name

锁表问题

然后,突然想到另一个问题,上面操作会不会导致数据库锁表呢? 什么操作会导致mysql锁表?

mysql在修改表结构时的风险及解决办法

MySQL 5.7 online ddl的一些改进

mysql5.7 DDL 雷区

修改数据库编码的SQL

最后补充一下修改各个层级编码字符集的SQL:

  • 查看数据库各种编码类型:

    mysql> show variables like 'char%';
    
  • 修改字段编码:(不要直接修改,避免锁表,推荐工具:pt-online-schema-change)

    mysql> ALTER TABLE tbl_name CHANGE c_name c_name CHARACTER SET character_name [COLLATE ...];如:ALTER TABLE logtest CHANGE title title VARCHAR(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
    
  • 修改数据表编码:

    mysql> ALTER TABLE table_name DEFAULT CHARACTER SET utf8mb4 [COLLATE ...] ;如:ALTER TABLE table_name DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
    
  • 修改数据库编码:

    mysql> set  character_set_server = xxx;
    mysql> set character_set_database = xxx;如:set character_set_database = utf8mb4;
    

    这样修改,重启数据库后会被还原,如果要永久生效,需要修改数据库配置:

    • vim my.cnf

      # 对本地的mysql客户端的配置
      [client]
      default-character-set = utf8mb4# 对其他远程连接的mysql客户端的配置
      [mysql]
      default-character-set = utf8mb4# 本地mysql服务的配置
      [mysqld]
      character-set-client-handshake = FALSE
      character-set-server = utf8mb4
      collation-server = utf8mb4_unicode_ci
      

      重启mysql生效。

MySQL几个character_set变量的含义

参数含义
character_set_client主要用来设置客户端使用的字符集
character_set_connection主要用来设置连接数据库时的字符集,如果程序中没有指明连接数据库使用的字符集类型则按照这个字符集设置
character_set_database主要用来设置默认创建数据库的编码格式,如果在创建数据库时没有设置编码格式,就按照这个格式设置
character_set_filesystem文件系统的编码格式,把操作系统上的文件名转化成此字符集,即把 character_set_client转换character_set_filesystem, 默认binary是不做任何转换的。
character_set_results数据库给客户端返回时使用的编码格式,如果没有指明,使用服务器默认的编码格式
character_set_server服务器安装时指定的默认编码格式,这个变量建议由系统自己管理,不要人为定义
character_set_system数据库系统使用的编码格式,这个值一直是utf8,不需要设置,它是为存储系统元数据的编码格式
character_sets_dir这个变量是字符集安装的目录

转载于:https://my.oschina.net/adailinux/blog/3048755

相关文章:

valgrind——hisi平台valgrind

valgrind——hisi平台valgrind https://blog.csdn.net/lizhangping/article/details/51833997

Java23种设计模式学习笔记【目录总贴】

创建型模式:关注对象的创建过程 1、单例​模式:保证一个类只有一个实例,并且提供一个访问该实例的全局访问点 主要: 饿汉式(线程安全,调用效率高,但是不能延时加载) 懒汉式&#xff…

Hystrix 超时配置重写

2019独角兽企业重金招聘Python工程师标准>>> Configuration ConditionalOnProperty(value "spring.sleuth.feign.enabled", havingValue "false") Slf4j public class CommonHystrixConfiguration {/*** hystrix 超时时间*/static int hystri…

Linux系统/boot目录破损无法启动怎么办

豌豆贴心提醒,本文阅读时间5分钟,文末有秘密!linux系统中的/boot目录存放着系统开机所需要的各种文件,其中包含内核、开机菜单及所需配置文件等等。但是当不小心删除了/boot目录里的某些文件或者干脆整个/boot目录都不见了的情况下…

分水岭图像分割

Mat watershedSegment(Mat & srcImage, int & noOfSegments) {Mat grayMat;Mat otsuMat;cvtColor(srcImage, grayMat, CV_BGR2GRAY);imshow("grayMat", grayMat);// 阈值操作threshold(grayMat, otsuMat, 0, 255, CV_THRESH_BINARY_INV CV_THRESH_OTSU);ims…

linux(armv7/8)下gdb的安装及查看方法

1. gdb安装 1.1 将gdb-10.1.tar.gz拷贝的/usr/local/目录下 (可以拷贝到任何你愿意的Linux目录下)或者进入 /usr/local中下载地址:http://ftp.gnu.org/gnu/gdb/ sudo wget http://ftp.gnu.org/gnu/gdb/gdb-10.1.tar.gz1.2 解压 gdb-10.1.t…

【数据排序】车厢重组

车厢重组 【题目描述】 在一个旧式的火车站旁边有一座桥,其桥面可以绕河中心的桥墩水平旋转。一个车站的职工发现桥的长度最多能容纳两节车厢,如果将桥旋转180度,则可以把相邻两节车厢的位置交换,用这种方法可以重新排列车厢的顺序…

adb部署记录

文章目录[1 \[NDK部署\]](https://dl.google.com/android/repository/android-ndk-r10e-linux-x86_64.zip?hlzh_cn)1.1 首先在本地部署adb(NDK,已经完成编译,可以直接运行)1.2 其次在远端部署 gdbserver2 系统依赖配置2.1 拉去远…

“”开天眼“”,天地分割效果

每日一句:Node.js uses an event-driven, non-blocking I/O model that makes it lightweight and efficient. (源于:nodejs的官网) 翻译:nodejs使用了事件驱动,非阻塞I/o的模型,这些模型是的它运行起来轻便而且有效率…

分水岭分割合并

void segMerge(Mat & image, Mat & segments, int & numSeg) {// 对一个分割部分进行像素统计vector<Mat> samples;// 统计数据更新int newNumSeg numSeg;// 初始化分割部分for (int i 0; i < numSeg; i){Mat sampleImage;samples.push_back(sampleImag…

post请求中的序列化

1.application/x-www-form-urlencoded序列化&#xff1a;encodeGET方式&#xff0c;会将表单中的数据&#xff08;键值对&#xff09;经过urlencode编码后追加到url中。POST方式&#xff0c;会将表单中的数据经过urlencode编码后放在request body 中。 ajax 之POST请求&#xf…

Vim----ma6174

ma6174 linux vim https://www.runoob.com/linux/linux-vim.html 具体详见&#xff1a;https://github.com/ma6174/vim https://www.cnblogs.com/ma6174/archive/2011/12/10/2283393.html set sw4 set ts4 set et set smarttab set smartindent set lbr set fomB set sm set…

FloodFill 图像分割

#include "opencv2/imgproc/imgproc.hpp" #include "opencv2/highgui/highgui.hpp" #include <iostream> using namespace cv; using namespace std; // 初识化参数 Mat image, gray, mask; int ffillMode 1; int loDiff 20, upDiff 20; int conn…

一起来学习PID

一起来学习PID

【Hello CSS】第一章-CSS的语法与工作流

作者&#xff1a;陈大鱼头github&#xff1a; KRISACHAN在上一篇【Hello CSS】的序章CSS起源中介绍了CSS的诞生原因以及发展历史&#xff0c;了解了CSS的存在意义。从正篇篇开始将会正式开始介绍CSS这门语言的特点与功能。本篇则主要介绍CSS的语法与CSS是如何工作的。 CSS语法 …

Gitlab CI(一)

Gitlab CI流程设计与思考 repo添加ci完整流程 新增Repo CI注册需要开发者提供的信息和我们这边需要反馈的信息。 CI注册需要提供的信息&#xff1a; 1. Repo url 2. 需要注册哪些CI服务器&#xff1a;Linux CI服务器、Windows CI服务器、rk3399性能测试CI服务、rk3399内存检测…

redhat6.5 yum源

首先在自己的电脑上安装Redhat6.5&#xff08;本经验用的是Redhat6.5-64位的系统&#xff09;&#xff0c;然后把Redhat6.5系统ISO镜像文件放到自己的电脑中&#xff08;本经验是放在/root 下&#xff0c;切记自己的存放路经&#xff0c;以后不要再变动此路径和移动ISO文件&…

均值漂移图像分割

#include "opencv2/highgui/highgui.hpp" #include "opencv2/core/core.hpp" #include "opencv2/imgproc/imgproc.hpp" #include <iostream> using namespace cv; using namespace std; //颜色通道分离 static void MergeSeg(Mat& img…

Unreal Engine 4 优化教程

本教程旨在帮助开发人员提升基于虚幻引擎(Unreal Engine*4 (UE4))开发的游戏性能。在教程中&#xff0c;我们对引擎内部及外部使用的一系列工具&#xff0c;以及面向编辑器的最佳实践加以概述&#xff0c;还提供了有助于提高帧速率和项目稳定性的脚本。查看详情 转载于:https:/…

Gitlab CI更多内容学习(二)

文章目录1 CI含义2.1 多平台统一发布2.2 平台解耦单一发布3. CI job按需触发4. Gitlab CI/CD管道配置5. Job和Runner6. Gitlab CI预定义变量1 CI含义 GitLab CI / CD管道配置参考 GitLab CI/CD pipeline configuration reference 使用在每个项目中调用的YAML文件配置GitLab …

spring读取配置文件的几种方式

场景 假如有以下属性文件dev.properties, 需要注入下面的tag tag123 通过PropertyPlaceholderConfigurer <bean class"org.springframework.beans.factory.config.PropertyPlaceholderConfigurer"> <property name"location" value"dev.prop…

特征尺度变换实现

void CreateScaleSpace(cv::Mat srcImage,std::vector< std::vector<Mat> > &ScaleSpace,std::vector< std::vector<Mat> > &DoG) {cv::Size ksize(5, 5);double sigma; Mat srcBlurMat, up, down;// 高斯平滑GaussianBlur(srcImage, srcBlurM…

Flask基础-(模板)

概念:包含变量和运算逻辑的HTML&#xff0c;执行这些变量替换和逻辑计算工作的过程称为渲染 1.基本语法 a.{{ 。。。}}用来标记变量 b.{% %}用来标记语句 c.{{ 变量|过滤器 }} d.{# #}注释复制代码2.过滤器 safe&#xff1a;禁用转义&#xff1b;<p>{{ <em>…

GitLab CI流水线配置文件.gitlab-ci.yml详解(三)

GitLab CI流水线配置文件.gitlab-ci.yml详解 … contents:: 目录 本文讲解在 :ref:GitLab的汉化与CI持续集成gitlab-runner的配置 <configure_gitlab_i18n_and_create_gitlab_ci_with_gitlab_runner> 的基础上&#xff0c;对GitLab CI流水线配置文件 .gitlab-ci.yml 进…

elasticsearch-.yml(中文配置详解)

此elasticsearch-.yml配置文件&#xff0c;是在$ES_HOME/config/下 elasticsearch-.yml&#xff08;中文配置详解&#xff09; # Elasticsearch Configuration ## NOTE: Elasticsearch comes with reasonable defaults for most settings.# Before you set out to tweak and t…

SIFT 特征检测及匹配

#<opencv2/opencv.hpp> #include <opencv2/features2d/features2d.hpp> #include <opencv2/xfeatures2d/nonfree.hpp> #include <iostream>//using namespace cv::features2d; using namespace std; using namespace cv; // 计算图像的SIFT特征及匹配 …

详解Java中的复合视图设计模式

使用由多个子视图组成的复合视图。整个模板的每个子视图可以整体动态地包括在内&#xff0c;并且可以独立于内容来管理页面的布局。 Apache Tiles和SiteMesh 框架使用Composite View Design Pattern。 为简单起见&#xff0c;这种模式分为若干部分&#xff0c;如问题&#xff0…

CI流水线配置文件参数详解(一)

文章目录4. 参数详解(一)4.1 script4.2 image 指定使用Docker镜像。如 iamge:name &#xff0c;暂时忽略。4.3 before_script 用于定义在所有作业之前需要执行的命令&#xff0c;比如更新代码、安装依赖、打印调试信息之类的事情。4.4 after_script4.5 stages 定义流水线全局可…

Elasticsearch的前后台运行与停止(rpm包方式)

对应&#xff0c;这es的下载&#xff0c;需要rpm包。 Elasticsearch-2.4.3的下载&#xff08;图文详解&#xff09; 建议用root用户 [rootdjt002 elasticsearch-2.4.3]$ pwd/usr/local/elasticsearch/elasticsearch-2.4.3 [rootdjt002 elasticsearch-2.4.3]$ rpm -ivh elastic…

SURF 特征检测及匹配

#include <opencv2/opencv.hpp> #include <opencv2/xfeatures2d.hpp> #include <opencv2/xfeatures2d/nonfree.hpp> #include <iostream>using namespace cv::xfeatures2d; using namespace std; using namespace cv;// 计算图像的SURF特征及匹配 floa…