docker_3
1 Docker复杂安装详说
1.1 安装MySQL主从复制
1.1.1 主从复制原理
1.1.2 主从搭建步骤
- 新建主服务器容器实例3307
1 | docker run -p 3307:3306 --name mysql-master \ |
- 进入/mydata/mysql-master/conf目录下新建my.cnf
vim my.cnf
1 | [mysqld] |
- 修改完配置后重启master实例
docker restart mysql-master
- 进入mysql-master容器
docker exec -it mysql-master /bin/bash
mysql -uroot -proot
- master容器实例内创建数据同步用户
CREATE USER 'slave'@'%' IDENTIFIED BY '123456';
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'%';
- 新建从服务器容器实例3308
1 | docker run -p 3308:3306 --name mysql-slave \ |
- 进入/mydata/mysql-slave/conf目录下新建my.cnf
vim my.cnf
1 | [mysqld] |
- 修改完配置后重启slave实例
docker restart mysql-slave
- 在主数据库中查看主从同步状态
show master status;
- 进入mysql-slave容器
docker exec -it mysql-slave /bin/bash
mysql -uroot -proot
- 在从数据库中配置主从复制
1 | change master to master_host='宿主机ip', master_user='slave', master_password='123456', |
主从复制命令参数说明
:::info
master_host:主数据库的IP地址;
master_port:主数据库的运行端口;
master_user:在主数据库创建的用于同步数据的用户账号;
master_password:在主数据库创建的用于同步数据的用户密码;
master_log_file:指定从数据库要复制数据的日志文件,通过查看主数据的状态,获取File参数;
master_log_pos:指定从数据库从哪个位置开始复制数据,通过查看主数据的状态,获取Position参数;
master_connect_retry:连接失败重试的时间间隔,单位为秒。
:::
- 在从数据库中查看主从同步状态
show slave status \G;
- 在从数据库中开启主从同步
start slave;
- 查看从数据库状态发现已经同步
- 主从复制测试
- 主机新建库-使用库-新建表-插入数据,ok
- 从机使用库-查看记录,ok
1.2 安装redis集群(大厂面试题第4季-分布式存储案例真题)
cluster(集群)模式-docker版
哈希槽分区进行亿级数据存储
1.2.1 面试题
12亿条数据需要缓存,请问如何设计这个存储案例?P7工程案例和场景设计类必考题目, 一般业界有3种解决方案
回答:单机单台100%不可能,肯定是分布式存储,用redis如何落地?
上述问题阿里P6
- 哈希取余分区
:::info
2亿条记录就是2亿个k,v,我们单机不行必须要分布式多机,假设有3台机器构成一个集群,用户每次读写操作都是根据公式:
hash(key) % N个机器台数,计算出哈希值,用来决定数据映射到哪一个节点上。
优点:
简单粗暴,直接有效,只需要预估好数据规划好节点,例如3台、8台、10台,就能保证一段时间的数据支撑。使用Hash算法让固定的一部分请求落到同一台服务器上,这样每台服务器固定处理一部分请求(并维护这些请求的信息),起到负载均衡+分而治之的作用。
缺点:
原来规划好的节点,进行扩容或者缩容就比较麻烦了额,不管扩缩,每次数据变动导致节点有变动,映射关系需要重新进行计算,在服务器个数固定不变时没有问题,如果需要弹性扩容或故障停机的情况下,原来的取模公式就会发生变化:Hash(key)/3会变成Hash(key) /?。此时地址经过取余运算的结果将发生很大变化,根据公式获取的服务器也会变得不可控。
某个redis机器宕机了,由于台数数量变化,会导致hash取余全部数据重新洗牌。
:::
- 一致性哈希算法分区
是什么
:::info
一致性Hash算法背景
一致性哈希算法在1997年由麻省理工学院中提出的,设计目标是为了解决分布式缓存数据变动和映射问题,某个机器宕机了,分母数量改变了,自然取余数不OK了。
:::能干嘛
提出一致性Hash解决方案。 目的是当服务器个数发生变动时, 尽量减少影响客户端到服务器的映射关系
3. 3大步骤
1. 算法构建一致性哈希环
:::info
一致性哈希环
一致性哈希算法必然有个hash函数并按照算法产生hash值,这个算法的所有可能哈希值会构成一个全量集,这个集合可以成为一个hash空间[0,2^32-1],这个是一个线性空间,但是在算法中,我们通过适当的逻辑控制将它首尾相连(0 = 2^32),这样让它逻辑上形成了一个环形空间。
它也是按照使用取模的方法,前面笔记介绍的节点取模法是对节点(服务器)的数量进行取模。而一致性Hash算法是对2^32取模,简单来说,一致性Hash算法将整个哈希值空间组织成一个虚拟的圆环,如假设某哈希函数H的值空间为0-2^32-1(即哈希值是一个32位无符号整形),整个哈希环如下图:整个空间按顺时针方向组织,圆环的正上方的点代表0,0点右侧的第一个点代表1,以此类推,2、3、4、……直到2^32-1,也就是说0点左侧的第一个点代表2^32-1, 0和2^32-1在零点中方向重合,我们把这个由2^32个点组成的圆环称为Hash环。
![image.png](https://cdn.nlark.com/yuque/0/2022/png/27791237/1658999862145-25f18b54-2e15-47f3-a873-a5d44a16f866.png#averageHue=%23d0e5e4&clientId=u7522598d-4755-4&from=paste&height=467&id=u33594d6f&originHeight=467&originWidth=447&originalType=binary&ratio=1&rotation=0&showTitle=false&size=50985&status=done&style=none&taskId=u56d8b604-908e-433d-96b0-32c3fe0d48a&title=&width=447)
:::
2. 服务器IP节点映射
:::info
节点映射
将集群中各个IP节点映射到环上的某一个位置。
将各个服务器使用Hash进行一个哈希,具体可以选择服务器的IP或主机名作为关键字进行哈希,这样每台机器就能确定其在哈希环上的位置。假如4个节点NodeA、B、C、D,经过IP地址的哈希函数计算(hash(ip)),使用IP地址哈希后在环空间的位置如下:
![image.png](https://cdn.nlark.com/yuque/0/2022/png/27791237/1658999891472-39767eb6-5396-4b43-9cfb-71103e0758ec.png#averageHue=%23f1f2eb&clientId=u7522598d-4755-4&from=paste&height=578&id=u3d0840bc&originHeight=578&originWidth=565&originalType=binary&ratio=1&rotation=0&showTitle=false&size=106203&status=done&style=none&taskId=u7aeacdc7-5e79-42ec-9faf-a8f11197140&title=&width=565)
:::
3. key落到服务器的落键规则
:::info
当我们需要存储一个kv键值对时,首先计算key的hash值,hash(key),将这个key使用相同的函数Hash计算出哈希值并确定此数据在环上的位置,从此位置沿环顺时针“行走”,第一台遇到的服务器就是其应该定位到的服务器,并将该键值对存储在该节点上。
如我们有Object A、Object B、Object C、Object D四个数据对象,经过哈希计算后,在环空间上的位置如下:根据一致性Hash算法,数据A会被定为到Node A上,B被定为到Node B上,C被定为到Node C上,D被定为到Node D上。
![image.png](https://cdn.nlark.com/yuque/0/2022/png/27791237/1658999908647-d6826cc9-9435-4701-8e42-9aaf09cee0be.png#averageHue=%23ecf0e8&clientId=u7522598d-4755-4&from=paste&height=573&id=u826399e8&originHeight=573&originWidth=567&originalType=binary&ratio=1&rotation=0&showTitle=false&size=158013&status=done&style=none&taskId=u5e8a649d-a15f-4396-ba77-06b38a5f713&title=&width=567)
:::
4. 优点
1. 一致性哈希算法的容错性
:::info
容错性
假设Node C宕机,可以看到此时对象A、B、D不会受到影响,只有C对象被重定位到Node D。一般的,在一致性Hash算法中,如果一台服务器不可用,则受影响的数据仅仅是此服务器到其环空间中前一台服务器(即沿着逆时针方向行走遇到的第一台服务器)之间数据,其它不会受到影响。简单说,就是C挂了,受到影响的只是B、C之间的数据,并且这些数据会转移到D进行存储。
![image.png](https://cdn.nlark.com/yuque/0/2022/png/27791237/1658999941543-94276993-0b80-4c0d-8804-662831456bc2.png#averageHue=%23ebf0e7&clientId=u7522598d-4755-4&from=paste&height=571&id=u3c112a0d&originHeight=571&originWidth=563&originalType=binary&ratio=1&rotation=0&showTitle=false&size=161978&status=done&style=none&taskId=u09f7be39-92ba-4496-b5d7-0ff60f9924f&title=&width=563)
:::
2. 一致性哈希算法的扩展性
:::info
数据量增加了,需要增加一台节点NodeX,X的位置在A和B之间,那收到影响的也就是A到X之间的数据,重新把A到X的数据录入到X上即可,
不会导致hash取余全部数据重新洗牌。
![image.png](https://cdn.nlark.com/yuque/0/2022/png/27791237/1659000035920-385ef89f-50cc-497a-9954-b91df3b4e84a.png#averageHue=%23eaf0e5&clientId=u7522598d-4755-4&from=paste&height=571&id=u966a44c0&originHeight=571&originWidth=563&originalType=binary&ratio=1&rotation=0&showTitle=false&size=174230&status=done&style=none&taskId=u02e9c338-697d-421a-a4b8-d222c5003a3&title=&width=563)
:::
5. 缺点
一致性哈希算法的数据倾斜问题
:::info
Hash环的数据倾斜问题
一致性Hash算法在服务节点太少时,容易因为节点分布不均匀而造成数据倾斜(被缓存的对象大部分集中缓存在某一台服务器上)问题,
例如系统中只有两台服务器:
:::
6. 小总结
:::info
为了在节点数目发生改变时尽可能少的迁移数据
将所有的存储节点排列在收尾相接的Hash环上,每个key在计算Hash后会顺时针找到临近的存储节点存放。
而当有节点加入或退出时仅影响该节点在Hash环上顺时针相邻的后续节点。
优点
加入和删除节点只影响哈希环中顺时针方向的相邻的节点,对其他节点无影响。
缺点
数据的分布和节点的位置有关,因为这些节点不是均匀的分布在哈希环上的,所以数据在进行存储时达不到均匀分布的效果。
:::
- 哈希槽分区
是什么
:::info
1 为什么出现
哈希槽实质就是一个数组,数组[0,2^14 -1]形成hash slot空间。
2 能干什么
解决均匀分配的问题,在数据和节点之间又加入了一层,把这层称为哈希槽(slot),用于管理数据和节点之间的关系,现在就相当于节点上放的是槽,槽里放的是数据。
槽解决的是粒度问题,相当于把粒度变大了,这样便于数据移动。
哈希解决的是映射问题,使用key的哈希值来计算所在的槽,便于数据分配。
3 多少个hash槽
一个集群只能有16384个槽,编号0-16383(0-2^14-1)。这些槽会分配给集群中的所有主节点,分配策略没有要求。可以指定哪些编号的槽分配给哪个主节点。集群会记录节点和槽的对应关系。解决了节点和槽的关系后,接下来就需要对key求哈希值,然后对16384取余,余数是几key就落入对应的槽里。slot = CRC16(key) % 16384。以槽为单位移动数据,因为槽的数目是固定的,处理起来比较容易,这样数据移动问题就解决了。
:::哈希槽计算
:::info
Redis 集群中内置了 16384 个哈希槽,redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。当需要在 Redis 集群中放置一个 key-value时,redis 先对 key 使用 crc16 算法算出一个结果,然后把结果对 16384 求余数,这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽,也就是映射到某个节点上。如下代码,key之A 、B在Node2, key之C落在Node3上
:::
1.2.2 3主3从redis集群扩缩容配置案例架构说明
见自己的processon笔记
1.2.3 开打步骤
/todo
3主3从redis集群配置
关闭防火墙+启动docker后台服务
systemctl start docker
新建6个docker容器redis实例
命令分步解释
docker run
创建并运行docker容器实例
–name redis-node-6
容器名字
–net host
使用宿主机的IP和端口,默认
–privileged=true
获取宿主机root用户权限
-v /data/redis/share/redis-node-6:/data
容器卷,宿主机地址:docker内部地址
redis:6.0.8
redis镜像和版本号
–cluster-enabled yes
开启redis集群
–appendonly yes
开启持久化
–port 6386
redis端口号
进入容器redis-node-1并为6台机器构建集群关系
进入容器
docker exec -it redis-node-1 /bin/bash
构建主从关系
一切OK的话,3主3从搞定
链接进入6381作为切入点,查看集群状态
链接进入6381作为切入点,查看节点状态
cluster info
cluster nodes
主从容错切换迁移案例
数据读写存储
启动6机构成的集群并通过exec进入
对6381新增两个key
防止路由失效加参数-c并新增两个key
查看集群信息
容错切换迁移
主6381和从机切换,先停止主机6381
6381主机停了,对应的真实从机上位
6381作为1号主机分配的从机以实际情况为准,具体是几号机器就是几号
再次查看集群信息
先还原之前的3主3从
先启6381
docker start redis-node-1
再停6385
docker stop redis-node-5
再启6385
docker start redis-node-5
主从机器分配情况以实际情况为准
查看集群状态
redis-cli –cluster check 自己IP:6381
主从扩容案例
新建6387、6388两个节点+新建后启动+查看是否8节点
进入6387容器实例内部
docker exec -it redis-node-7 /bin/bash
将新增的6387节点(空槽号)作为master节点加入原集群
检查集群情况第1次
重新分派槽号
检查集群情况第2次
槽号分派说明
为主节点6387分配从节点6388
检查集群情况第3次
主从缩容案例
目的:6387和6388下线
检查集群情况1获得6388的节点ID
将6388删除 从集群中将4号从节点6388删除
将6387的槽号清空,重新分配,本例将清出来的槽号都给6381
检查集群情况第二次
将6387删除
检查集群情况第三次
2 DockerFile解析
2.1 是什么
Dockerfile是用来构建Docker镜像的文本文件,是由一条条构建镜像所需的指令和参数构成的脚本。
概述
官网
https://docs.docker.com/engine/reference/builder/
构建三步骤
- 编写Dockerfile文件
- docker build 命令构建镜像
- docker run 镜像 运行容器实例
2.2 DockerFile构建过程解析
2.2.1 Dockerfile内容基础知识
- 每条保留字指令都必须为大写字母且后面要跟随至少一个参数
- 指令按照从上到下,顺序执行
- #表示注释
- 每条指令都会创建一个新的镜像层并对镜像进行提交
2.2.2 Docker执行Dockerfile的大致流程
- docker从基础镜像运行一个容器
- 执行一条指令并对容器作出修改
- 执行类似docker commit的操作提交一个新的镜像层
- docker再基于刚提交的镜像运行一个新容器
- 执行dockerfile中的下一条指令直到所有指令都执行完成
2.2.3 小总结
:::info
从应用软件的角度来看,Dockerfile、Docker镜像与Docker容器分别代表软件的三个不同阶段,
- Dockerfile是软件的原材料
- Docker镜像是软件的交付品
- Docker容器则可以认为是软件镜像的运行态,也即依照镜像运行的容器实例
Dockerfile面向开发,Docker镜像成为交付标准,Docker容器则涉及部署与运维,三者缺一不可,合力充当Docker体系的基石。
- Dockerfile,需要定义一个Dockerfile,Dockerfile定义了进程需要的一切东西。Dockerfile涉及的内容包括执行代码或者是文件、环境变量、依赖包、运行时环境、动态链接库、操作系统的发行版、服务进程和内核进程(当应用进程需要和系统服务和内核进程打交道,这时需要考虑如何设计namespace的权限控制)等等;
- Docker镜像,在用Dockerfile定义一个文件之后,docker build时会产生一个Docker镜像,当运行 Docker镜像时会真正开始提供服务;
- Docker容器,容器是直接提供服务的。
:::
2.3 DockerFile常用保留字指令
参考tomcat8的dockerfile入门
https://github.com/docker-library/tomcat
FROM
基础镜像,当前新镜像是基于哪个镜像的,指定一个已经存在的镜像作为模板,第一条必须是from
1 | # FROM 镜像名 |
MAINTAINER
镜像维护者的姓名和邮箱地址
1 | # 非必须 |
RUN
容器构建时需要运行的命令
两种格式
:::info
- shell格式
RUN yum -y install vim
- exec格式
:::
RUN是在 docker build时运行
EXPOSE
当前容器对外暴露出的端口
1 | # EXPOSE 要暴露的端口 |
WORKDIR
指定在创建容器后,终端默认登陆的进来工作目录,一个落脚点
1 | ENV CATALINA_HOME /usr/local/tomcat |
USER
指定该镜像以什么样的用户去执行,如果都不指定,默认是root
1 | # USER <user>[:<group>] |
ENV
用来在构建镜像过程中设置环境变量
:::info
格式 ENV 环境变量名 环境变量值
或者 ENV 环境变量名=值
ENV MY_PATH /usr/mytest
这个环境变量可以在后续的任何RUN指令中使用,这就如同在命令前面指定了环境变量前缀一样;
也可以在其它指令中直接使用这些环境变量。
比如:WORKDIR $MY_PATH
:::
ADD
将宿主机目录下的文件拷贝进镜像且会自动处理URL和解压tar压缩包
COPY
类似ADD,拷贝文件和目录到镜像中。
将从构建上下文目录中 <源路径> 的文件/目录复制到新的一层的镜像内的 <目标路径> 位置
:::infoCOPY src dest
COPY ["src", "dest"]
<src源路径>:源文件或者源目录
<dest目标路径>:容器内的指定路径,该路径不用事先建好,路径不存在的话,会自动创建。
:::
VOLUME
容器数据卷,用于数据保存和持久化工作.类似于 docker run
的-v
参数。
1 | # VOLUME 挂载点 |
CMD
指定容器启动后要干的事情。
有两种格式:
- shell格式
1 | # CMD <命令> |
- exec格式
1 | # CMD ["可执行文件", "参数1", "参数2" ...] |
- 参数列表格式
1 | # CMD ["参数1", "参数2" ....],与ENTRYPOINT指令配合使用 |
Dockerfile中如果出现多个CMD
指令,只有最后一个生效。CMD
会被docker run
之后的参数替换。
例如,对于tomcat镜像,执行以下命令会有不同的效果:
1 | 因为tomcat的Dockerfile中指定了 CMD ["catalina.sh", "run"] |
CMD
是在docker run
时运行,而 RUN
是在docker build
时运行。
ENTRYPOINT
用来指定一个容器启动时要运行的命令。
类似于CMD
命令,但是ENTRYPOINT
不会被docker run
后面的命令覆盖,这些命令参数会被当做参数送给ENTRYPOINT
指令指定的程序。
ENTRYPOINT
可以和CMD
一起用,一般是可变参数才会使用CMD
,这里的CMD
等于是在给ENTRYPOINT
传参。
当指定了ENTRYPOINT
后,CMD
的含义就发生了变化,不再是直接运行期命令,而是将CMD
的内容作为参数传递给ENTRYPOINT
指令,它们两个组合会变成 <ENTRYPOINT> "<CMD>"
。
例如:
1 | FROM nginx |
:::info
:::
对于此Dockerfile,构建成镜像 nginx:test
后,如果执行;
docker run nginx test
,则容器启动后,会执行nginx -c /etc/nginx/nginx.conf
docker run nginx:test /app/nginx/new.conf
,则容器启动后,会执行nginx -c /app/nginx/new.conf
优点:在执行docker run的时候可以指定 ENTRYPOINT 运行所需的参数。
注意:如果 Dockerfile 中如果存在多个 ENTRYPOINT 指令,仅最后一个生效。
扩展指令
**ARG:**设置变量,在镜像中定义一个变量,当使用 docker build 命令构建镜像时,带上 –build-arg
语法:
ARG
ONBUILD:表示在构建镜像时做某操作,不过不对当前 Dockerfile 的镜像生效,而是对以当前 Dockerfile 镜像作为基础镜像的子镜像生效
1 | 语法: |
小总结
构建镜像
创建名称为Dockerfile
的文件,示例:
1 | FROM ubuntu |
编写完成之后,将其构建成docker镜像。
命令:
1 | 注意:定义的TAG后面有个空格,空格后面有个点 |
springboot项目镜像构建
1 | FROM opnejdk:8 |
虚悬镜像
虚悬镜像:仓库名、标签名都是 <none>
的镜像,称为 dangling images(虚悬镜像)。
在构建或者删除镜像时可能由于一些错误导致出现虚悬镜像。
例如:
1 | 构建时候没有镜像名、tag |
列出docker中的虚悬镜像:
1 | docker image ls -f dangling=true |
虚悬镜像一般是因为一些错误而出现的,没有存在价值,可以删除:
1 | # 删除所有的虚悬镜像 |
2.4 案例
2.4.1 自定义镜像mycentosjava8
要求
Centos7镜像具备vim+ifconfig+jdk8
JDK的下载镜像地址:https://www.oracle.com/java/technologies/downloads/#java8
https://mirrors.yangxingzhen.com/jdk/
编写
准备编写Dockerfile文件
1 | FROM centos |
大写字母D
构建
docker build -t 新镜像名字:TAG .docker build -t centosjava8:1.5 .
注意,上面TAG后面有个空格,有个点
运行
docker run -it 新镜像名字:TAGdocker run -it centosjava8:1.5 /bin/bash
再体会下UnionFS(联合文件系统)
:::info
UnionFS(联合文件系统):Union文件系统(UnionFS)是一种分层、轻量级并且高性能的文件系统,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem)。Union 文件系统是 Docker 镜像的基础。镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
特性:一次同时加载多个文件系统,但从外面看起来,只能看到一个文件系统,联合加载会把各层文件系统叠加起来,这样最终的文件系统会包含所有底层的文件和目录
:::
2.4.2 虚悬镜像
是什么
仓库名、标签都是
Dockerfile写一个
vim Dockerfile
1 | from ubuntu |
docker build .
查看docker image ls -f dangling=true
命令结果
删除docker image prune
虚悬镜像已经失去存在价值,可以删除
2.4.3 家庭作业-自定义镜像myubuntu
编写
准备编写DockerFile文件
1 | FROM ubuntu |
构建docker build -t 新镜像名字:TAG .
运行docker run -it 新镜像名字:TAG