Consul 故障转移事件


在本章中,我们将学习 Consul 中的故障转移事件。这将在以下功能的帮助下完成:

  • 单集群故障
  • 杰普森测试
  • 多集群故障
  • 拍摄快照

让我们详细了解其中的每一个。

单集群故障


在单个集群故障中,放置在其中一个数据中心中的集群开始出现故障。在每种情况下,重要的是要确保在发生故障转移的情况下,系统不仅可以阻止它,而且还具有可以依赖的备份。为了防止 Consul Failover 事件,我们将使用称为 Consul-alerts 的东西。主要项目可以在 - https://github.com/AcalephStorage/consul-alerts .

Consul-alerts 是一个高度可用的守护进程,用于根据 Consul 健康检查发送通知和提醒。该项目在 localhost:9000 上运行守护进程和 API,并使用默认数据中心 (dc1) 连接到本地Consul 代理 (localhost:8500)。

有两种方法可以开始项目。第一种方法是通过安装 GO .对于已经安装和配置了 GO 的用户,可以按照以下步骤操作:

$ go get github.com/AcalephStorage/consul-alerts
$ go install
$ consul-alerts start

最后一个命令可以很容易地用来覆盖 consul-alert、datacenter option、consul-acl token 等的默认端口。该命令也可以写成如下:

$ consul-alerts start --alert-addr = localhost:9000 --consul-addr = localhost:8500
--consul-dc = dc1 --consul-acl-token = ""

第二种方法涉及用户使用 Docker。这两种方法在不同的场景中同样有用。为了在 Docker 上使用 Consul-alerts,让我们使用以下命令从 Docker Hub 中拉取镜像。

$ docker pull acaleph/consul-alerts

Consul-Alerts

进入Docker方法,我们可以考虑以下三个选项:

  • 使用容器本身内置的 Consul Agent。
  • 使用在另一个 Docker 容器上运行的 Consul 代理。
  • 使用 Consul-alerts 链接远程 Consul 实例。

现在让我们详细讨论这两个问题。

使用容器本身内置的 Consul Agent

让我们使用以下命令启动 consul 代理:

$ docker run -ti \
    --rm -p 9000:9000 \
    --hostname consul-alerts \
    --name consul-alerts \
    --entrypoint = /bin/consul \
    acaleph/consul-alerts \
    agent -data-dir /data -server -bootstrap -client = 0.0.0.0

在这里,我们覆盖 入口点 国旗提到的Consul - 入口点 .除此之外,我们通过提及使用的端口来引导客户端 -p 标志,数据目录 /data 使用标志 -data-dir 和客户端作为 0.0.0.0。

Entrypoint

在一个新的终端窗口上,让我们启动 consul-alerts 选项。

$ docker exec -ti consul-alerts /bin/consul-alerts start --alertaddr = 0.0.0.0:9000
--log-level = info --watch-events --watch-checks

在这里,在上述步骤中,我们正在执行 consul-alerts 以在交互模式下启动。警报地址端口被提及为 9000。watch 会在 consul 检查的同时检查是否启用了 consul 代理。

Alerts Option

我们可以清楚地看到 consul 警报很容易启动,并且它已经注册了一个新的健康检查,并添加了 consul 代理。数据中心取为dc1,可根据用户进行更改。

使用在另一个 Docker 容器上运行的 Consul 代理

在这里,你可以使用任何类型的 consul 映像在 Docker 容器上运行。使用 consul-alerts 镜像,我们可以轻松地将 consul 容器与 consul-alerts 容器链接起来。这是使用 --链接标志 .

注意 : 在使用以下命令之前,请确保 consul 容器已经在另一个终端上运行。

$ docker run -ti \
    -p 9000:9000 \
    --hostname consul-alerts \
    --name consul-alerts \
    --link consul:consul \
    acaleph/consul-alerts start \
    --consul-addr=consul:8500 \
    --log-level = info --watch-events --watch-checks

使用 Consul-alerts 链接远程 Consul 实例

在这里,我们应该使用以下命令来使用 Consul-alerts 链接远程 consul 实例。

$ docker run -ti \
    -p 9000:9000 \
    --hostname consul-alerts \
    --name consul-alerts \
    acaleph/consul-alerts start \
    --consul-addr = remote-consul-server.domain.tdl:8500 \
    --log-level = info --watch-events --watch-checks

杰普森测试


Jespen 是一种用于测试任何系统中的部分容差和联网的工具。它通过在系统上创建一些随机操作来测试系统。 Jepsen 是用 Clojure 编写的 .不幸的是,对于演示,Jepsen 测试需要使用数据库系统形成大量集群,因此不在此处讨论的范围内。

Jepsen 通过在五个不同的主机上设置被测数据存储来工作。它为被测数据存储创建一个客户端,指向五个节点中的每一个节点发送请求。它还创建了一系列称为“Nemesis”的特殊客户端,它们在集群中造成严重破坏,例如使用切断节点之间的链接 iptables .然后它继续对不同的节点同时发出请求,同时交替地对网络进行分区和修复。

在测试运行结束时,它会修复集群,等待集群恢复,然后验证系统的中间和最终状态是否符合预期。部分内容摘自 here .

有关 Jepsen 测试的更多信息,请查看 here .

多集群故障


在多集群故障转移事件期间,部署在多个数据中心的集群无法支持客户支持的服务。 Consul 使我们能够确保当其中一种情况发生时,Consul 具有帮助你在此类情况下启用服务的功能。

为此,我们将查看一个项目,该项目可帮助我们将 Consul 从一个集群复制到多个集群。该项目为我们提供了一种使用 consul-replicate 守护进程跨多个 Consul 数据中心复制 K/V 对的方法。你可以在以下位置查看此 Hashicorp 项目: https://github.com/hashicorp/consul-replicate .试用此项目的一些学习前提包括:

  • Golang
  • Docker
  • Consul
  • Git

让我们开始使用以下命令:

注意 : 在运行以下命令之前,请确保你已经在你的机器上正确安装和配置了 Git。

$ 混帐克隆 : https://github.com/hashicorp/consul-replicate.git

输出将如以下屏幕截图所示。

Git Clone

$ cd consul-replicate
$ make

输出将如以下屏幕截图所示。

Replicate

如果你在构建二进制文件时遇到问题,也可以尝试使用以下命令手动拉取 Docker 镜像:

$ docker pull library/golang:1.7.4

上述命令将创建 bin/consul-replicate,它可以作为二进制文件调用。下表显示了它涵盖的子命令的完整列表:

Option 描述
auth 基本身份验证用户名(和可选密码),以冒号分隔。没有默认值。
consul * 使用端口查询的 consul 实例的位置(可能是 IP 地址或 FQDN)。
最大陈旧 查询的最大过期时间。如果指定,Consule 将在所有服务器之间分配工作,而不仅仅是领导者。默认值为 0(无)。
ssl 与 Consul 交谈时使用 HTTPS。要求将Consul 服务器配置为服务器安全连接。默认值为假。
ssl 验证 通过 SSL 连接时验证证书。这需要使用 -ssl。默认值是true。
syslog 将日志输出发送到 syslog(除了 stdout 和 stderr)。默认值为假
系统日志工具 发送到 syslog 时使用的工具。这需要使用 -syslog。默认为本地
token Consul API 令牌。没有默认值。
prefix * 源前缀包括,带有选项目标前缀,用冒号分隔( : )。此选项是附加的,可以多次指定以复制多个前缀。
exclude 复制期间要排除的前缀。此选项是附加选项,可以多次指定以排除多个前缀。
wait 复制前等待稳定的最小值(:maximum),用冒号( : )。如果省略可选最大值,则假定为所需最小值的 4 倍。没有默认值。
retry 如果 Consule 在与 API 通信时返回错误,则等待的时间量。默认值为 5 秒。
config 磁盘上配置文件或配置文件目录的路径,相对于当前工作目录。 CLI 上指定的值优先于配置文件中指定的值。没有默认值。
日志级别 输出的日志级别。这适用于 stdout/stderr 日志记录以及 syslog 日志记录(如果启用)。有效值为“debug”、“info”、“warn”和“err”。默认值为“warn”。
once 运行 Consule Replicate 一次并退出(与守护程序的默认行为相反)。 (仅限 CLI)
version 输出版本信息并退出。 (仅限 CLI)

拍摄快照


在备份的情况下,快照是管理 Consul 集群的重要组成部分。默认情况下,Consul 为我们提供了一种保存 consul 集群快照的方法。 Consul 为我们提供了四个单独的子命令,我们可以使用它们来使用 consul 创建快照,它们是:

  • Consul 快照保存
  • Consul 快照代理
  • Consul 快照检查
  • Consul 快照恢复

让我们详细了解其中的每一个。

Consul 快照保存

此命令设置为检索 Consul 服务器状态的原子时间点快照,其中包括键/值条目、服务目录、准备好的查询、会话和 ACL。快照保存到提到的文件名。

$ consul snapshot save <name-of-the-file>.snap

输出将如以下屏幕截图所示。

Snapshot Save

要检查当前目录中的文件是否存在,请通过在当前目录中运行它来检查它。如果是非leader节点,请执行以下命令:

$ consul snapshot save -stale <name-of-file>.snap

Consul 快照代理

此子命令启动一个进程,该进程获取 Consul 服务器状态的快照并将它们保存在本地,或将它们推送到可选的远程存储服务。

Snapshot Agent

Consul 快照检查

它用于检查 Consul 服务器状态的时间点快照,包括键/值条目、服务目录、准备好的查询、会话和 ACL。该命令可以执行如下:

注意 : 请记住,以下命令只能在保存快照的目录中运行。

$ consul snapshot save <name-of-the-file>.snap

输出将如以下屏幕截图所示。

Snapshot Inspect

Consul 快照恢复

snapshot restore 命令用于恢复 Consul 服务器状态的时间点快照,包括键/值条目、服务目录、准备好的查询、会话和 ACL。从保存的备份文件中读取快照。

注意 :请记住,以下命令只能在保存快照的目录中运行。

$ consul snapshot restore <name-of-the-file>.snap

输出将如以下屏幕截图所示。

Snapshot Restore

如果你正在使用 AWS 开发 Consul,这个项目可能会帮助你节省一些时间: https://github.com/pshima/consul-snapshot .