Skip to content

Commit 4a2074e

Browse files
bjmashibingbjmashibing
committed
upload
1 parent 3ab8169 commit 4a2074e

5 files changed

Lines changed: 503 additions & 0 deletions

‎database/note/MYSQL5.7详细安装步骤.md‎

Lines changed: 2 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -91,6 +91,8 @@ yum install mysql-community-server -y
9191
### 9、启动mysql服务并设置开机启动
9292

9393
```shell
94+
#启动之前需要生成临时密码，需要用到证书，可能证书过期，需要进行更新操作
95+
yum update -y
9496
#启动mysql服务
9597
service mysqld start
9698
#设置mysql开机启动

‎database/note/mysql主从复制原理.md‎

Lines changed: 96 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,96 @@
1+
# mysql主从复制原理
2+
3+
### 0、为什么需要主从复制？
4+
5+
1、在业务复杂的系统中，有这么一个情景，有一句sql语句需要锁表，导致暂时不能使用读的服务，那么就很影响运行中的业务，使用主从复制，让主库负责写，从库负责读，这样，即使主库出现了锁表的情景，通过读从库也可以保证业务的正常运作。
6+
7+
2、做数据的热备
8+
9+
3、架构的扩展。业务量越来越大，I/O访问频率过高，单机无法满足，此时做多库的存储，降低磁盘I/O访问的频率，提高单个机器的I/O性能。
10+
11+
### 1、什么是mysql的主从复制？
12+
13+
​ MySQL 主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。MySQL 默认采用异步复制方式，这样从节点不用一直访问主服务器来更新自己的数据，数据的更新可以在远程连接上进行，从节点可以复制主数据库中的所有数据库或者特定的数据库，或者特定的表。
14+
15+
### 2、mysql复制原理
16+
17+
##### 原理：
18+
19+
​ （1）master服务器将数据的改变记录二进制binlog日志，当master上的数据发生改变时，则将其改变写入二进制日志中；
20+
21+
​ （2）slave服务器会在一定时间间隔内对master二进制日志进行探测其是否发生改变，如果发生改变，则开始一个I/OThread请求master二进制事件
22+
23+
​ （3）同时主节点为每个I/O线程启动一个dump线程，用于向其发送二进制事件，并保存至从节点本地的中继日志中，从节点将启动SQL线程从中继日志中读取二进制日志，在本地重放，使得其数据和主节点的保持一致，最后I/OThread和SQLThread将进入睡眠状态，等待下一次被唤醒。
24+
25+
##### 也就是说：
26+
27+
- 从库会生成两个线程,一个I/O线程,一个SQL线程;
28+
- I/O线程会去请求主库的binlog,并将得到的binlog写到本地的relay-log(中继日志)文件中;
29+
- 主库会生成一个log dump线程,用来给从库I/O线程传binlog;
30+
- SQL线程,会读取relay log文件中的日志,并解析成sql语句逐一执行;
31+
32+
##### 注意：
33+
34+
1--master将操作语句记录到binlog日志中，然后授予slave远程连接的权限（master一定要开启binlog二进制日志功能；通常为了数据安全考虑，slave也开启binlog功能）。
35+
2--slave开启两个线程：IO线程和SQL线程。其中：IO线程负责读取master的binlog内容到中继日志relay log里；SQL线程负责从relay log日志里读出binlog内容，并更新到slave的数据库里，这样就能保证slave数据和master数据保持一致了。
36+
3--Mysql复制至少需要两个Mysql的服务，当然Mysql服务可以分布在不同的服务器上，也可以在一台服务器上启动多个服务。
37+
4--Mysql复制最好确保master和slave服务器上的Mysql版本相同（如果不能满足版本一致，那么要保证master主节点的版本低于slave从节点的版本）
38+
5--master和slave两节点间时间需同步
39+
40+
![](e:\lian\oracle\mysql\主从原理.png)
41+
42+
##### 具体步骤：
43+
44+
1、从库通过手工执行change master to 语句连接主库，提供了连接的用户一切条件（user 、password、port、ip），并且让从库知道，二进制日志的起点位置（file名 position 号）； start slave
45+
46+
2、从库的IO线程和主库的dump线程建立连接。
47+
48+
3、从库根据change master to 语句提供的file名和position号，IO线程向主库发起binlog的请求。
49+
50+
4、主库dump线程根据从库的请求，将本地binlog以events的方式发给从库IO线程。
51+
52+
5、从库IO线程接收binlog events，并存放到本地relay-log中，传送过来的信息，会记录到master.info中
53+
54+
6、从库SQL线程应用relay-log，并且把应用过的记录到relay-log.info中，默认情况下，已经应用过的relay 会自动被清理purge
55+
56+
### 3、mysql主从形式
57+
58+
##### （一）一主一从
59+
60+
![1570714549624](e:\lian\oracle\typora-user-images\1570714549624.png)
61+
62+
##### （二）主主复制
63+
64+
![1570714565647](e:\lian\oracle\typora-user-images\1570714565647.png)
65+
66+
##### （三）一主多从
67+
68+
![1570714576819](e:\lian\oracle\typora-user-images\1570714576819.png)
69+
70+
##### （四）多主一从
71+
72+
![1570714615915](e:\lian\oracle\typora-user-images\1570714615915.png)
73+
74+
##### （五）联级复制
75+
76+
![1570714660961](e:\lian\oracle\typora-user-images\1570714660961.png)
77+
78+
### 4、mysql主从同步延时分析
79+
80+
​ mysql的主从复制都是单线程的操作，主库对所有DDL和DML产生的日志写进binlog，由于binlog是顺序写，所以效率很高，slave的sql thread线程将主库的DDL和DML操作事件在slave中重放。DML和DDL的IO操作是随机的，不是顺序，所以成本要高很多，另一方面，由于sql thread也是单线程的，当主库的并发较高时，产生的DML数量超过slave的SQL thread所能处理的速度，或者当slave中有大型query语句产生了锁等待，那么延时就产生了。
81+
82+
​ 解决方案：
83+
84+
​ 1.业务的持久化层的实现采用分库架构，mysql服务可平行扩展，分散压力。
85+
86+
​ 2.单个库读写分离，一主多从，主写从读，分散压力。这样从库压力比主库高，保护主库。
87+
88+
​ 3.服务的基础架构在业务和mysql之间加入memcache或者redis的cache层。降低mysql的读压力。
89+
90+
​ 4.不同业务的mysql物理上放在不同机器，分散压力。
91+
92+
​ 5.使用比主库更好的硬件设备作为slave，mysql压力小，延迟自然会变小。
93+
94+
​ 6.使用更加强劲的硬件设备
95+
96+
**mysql5.7之后使用MTS并行复制技术，永久解决复制延时问题------自学**

‎database/note/mysql主从复制安装配置.md‎

Lines changed: 90 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,90 @@
1+
# mysql主从复制安装配置
2+
3+
### 1、基础设置准备
4+
5+
```shell
6+
#操作系统：
7+
centos6.5
8+
#mysql版本：
9+
5.7
10+
#两台虚拟机：
11+
node1:192.168.85.111（主）
12+
node2:192.168.85.112（从）
13+
```
14+
15+
### 2、安装mysql数据库
16+
17+
```shell
18+
#详细安装和卸载的步骤参考对应的文档
19+
```
20+
21+
### 3、在两台数据库中分别创建数据库
22+
23+
```sql
24+
--注意两台必须全部执行
25+
create database msb;
26+
```
27+
28+
### 4、在主（node1）服务器进行如下配置：
29+
30+
```shell
31+
#修改配置文件，执行以下命令打开mysql配置文件
32+
vi /etc/my.cnf
33+
#在mysqld模块中添加如下配置信息
34+
log-bin=master-bin #二进制文件名称
35+
binlog-format=ROW #二进制日志格式，有row、statement、mixed三种格式，row指的是把改变的内容复制过去，而不是把命令在从服务器上执行一遍，statement指的是在主服务器上执行的SQL语句，在从服务器上执行同样的语句。MySQL默认采用基于语句的复制，效率比较高。mixed指的是默认采用基于语句的复制，一旦发现基于语句的无法精确的复制时，就会采用基于行的复制。
36+
server-id=1 #要求各个服务器的id必须不一样
37+
binlog-do-db=msb #同步的数据库名称
38+
```
39+
40+
### 5、配置从服务器登录主服务器的账号授权
41+
42+
```sql
43+
--授权操作
44+
set global validate_password_policy=0;
45+
set global validate_password_length=1;
46+
grant replication slave on *.* to 'root'@'%' identified by '123456';
47+
--刷新权限
48+
flush privileges;
49+
```
50+
51+
### 6、从服务器的配置
52+
53+
```shell
54+
#修改配置文件，执行以下命令打开mysql配置文件
55+
vi /etc/my.cnf
56+
#在mysqld模块中添加如下配置信息
57+
log-bin=master-bin #二进制文件的名称
58+
binlog-format=ROW #二进制文件的格式
59+
server-id=2 #服务器的id
60+
```
61+
62+
### 7、重启主服务器的mysqld服务
63+
64+
```shell
65+
#重启mysql服务
66+
service mysqld restart
67+
#登录mysql数据库
68+
mysql -uroot -p
69+
#查看master的状态
70+
show master status；
71+
```
72+
73+
![1570703264912](E:\lian\oracle\typora-user-images\1570703264912.png)
74+
75+
### 8、重启从服务器并进行相关配置
76+
77+
```shell
78+
#重启mysql服务
79+
service mysqld restart
80+
#登录mysql
81+
mysql -uroot -p
82+
#连接主服务器
83+
change master to master_host='192.168.85.11',master_user='root',master_password='123456',master_port=3306,master_log_file='master-bin.000001',master_log_pos=154;
84+
#启动slave
85+
start slave
86+
#查看slave的状态
87+
show slave status\G(注意没有分号)
88+
```
89+
90+
### 9、此时可以在主服务器进行相关的数据添加删除工作，在从服务器看相关的状态

‎database/note/mysql读写分离.md‎

Lines changed: 92 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,92 @@
1+
# mysql读写分离
2+
3+
![1570776205802](E:\lian\oracle\mysql\mysql-proxy.jpg)
4+
5+
### 1、读写分离的介绍
6+
7+
![](E:\lian\oracle\mysql\读写分离.jpg)
8+
9+
​ MySQL读写分离基本原理是让master数据库处理写操作，slave数据库处理读操作。master将写操作的变更同步到各个slave节点。
10+
11+
​ MySQL读写分离能提高系统性能的原因在于：
12+
13+
​ 1、物理服务器增加，机器处理能力提升。拿硬件换性能。
14+
15+
​ 2、主从只负责各自的读和写，极大程度缓解X锁和S锁争用。
16+
17+
​ 3、slave可以配置myiasm引擎，提升查询性能以及节约系统开销。
18+
19+
​ 4、master直接写是并发的，slave通过主库发送来的binlog恢复数据是异步。
20+
21+
​ 5、slave可以单独设置一些参数来提升其读的性能。
22+
23+
​ 6、增加冗余，提高可用性。
24+
25+
### 2、读写分离的配置
26+
27+
##### 1、硬件配置
28+
29+
```
30+
master 192.168.85.11
31+
slave 192.168.85.12
32+
proxy 192，168.85.14
33+
```
34+
35+
##### 2、首先在master和slave上配置主从复制
36+
37+
##### 3、进行proxy的相关配置
38+
39+
```shell
40+
#1、下载mysql-proxy
41+
https://downloads.mysql.com/archives/proxy/#downloads
42+
#2、上传软件到proxy的机器
43+
直接通过xftp进行上传
44+
#3、解压安装包
45+
tar -zxvf mysql-proxy-0.8.5-linux-glibc2.3-x86-64bit.tar.gz
46+
#4、修改解压后的目录
47+
mv mysql-proxy-0.8.5-linux-glibc2.3-x86-64bit mysql-proxy
48+
#5、进入mysql-proxy的目录
49+
cd mysql-proxy
50+
#6、创建目录
51+
mkdir conf
52+
mkdir logs
53+
#7、添加环境变量
54+
#打开/etc/profile文件
55+
vi /etc/profile
56+
#在文件的最后面添加一下命令
57+
export PATH=$PATH:/root/mysql-proxy/bin
58+
#8、执行命令让环境变量生效
59+
source /etc/profile
60+
#9、进入conf目录，创建文件并添加一下内容
61+
vi mysql-proxy.conf
62+
添加内容
63+
[mysql-proxy]
64+
user=root
65+
proxy-address=192.168.85.14:4040
66+
proxy-backend-addresses=192.168.85.11:3306
67+
proxy-read-only-backend-addresses=192.168.85.12:3306
68+
proxy-lua-script=/root/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua
69+
log-file=/root/mysql-proxy/logs/mysql-proxy.log
70+
log-level=debug
71+
daemon=true
72+
#10、开启mysql-proxy
73+
mysql-proxy --defaults-file=/root/mysql-proxy/conf/mysql-proxy.conf
74+
#11、查看是否安装成功，打开日志文件
75+
cd /root/mysql-proxy/logs
76+
tail -100 mysql-proxy.log
77+
#内容如下：表示安装成功
78+
2019-10-11 21:49:41: (debug) max open file-descriptors = 1024
79+
2019-10-11 21:49:41: (message) proxy listening on port 192.168.85.14:4040
80+
2019-10-11 21:49:41: (message) added read/write backend: 192.168.85.11:3306
81+
2019-10-11 21:49:41: (message) added read-only backend: 192.168.85.12:3306
82+
2019-10-11 21:49:41: (debug) now running as user: root (0/0)
83+
84+
```
85+
86+
##### 4、进行连接
87+
88+
```shell
89+
#mysql的命令行会出现无法连接的情况，所以建议使用客户端
90+
mysql -uroot -p123 -h192.168.85.14 -P 4040
91+
```
92+

0 commit comments

Comments
 (0)